[論文レビュー] RAISR: Rapid and Accurate Image Super Resolution

Yaniv Romano, John Isidoro+1 more|arXiv (Cornell University)|Jun 3, 2016

Advanced Image Processing Techniques参考文献 42被引用数 6

ひとこと要約

RAISRは、局所的勾配統計に基づくハッシュ化機構を用いてフィルタを選択する、事前に学習されたコンテンツ適応型フィルタを用いた高速で低複雑性の画像スーパーレゾリューション手法を提案する。この手法は、最先端の画像品質を達成するとともに、最先端の手法よりも100倍以上高速な実行速度を実現しており、CT記述子を用いた新規ブレンド戦略によりアーチファクトのないシャープニングを実現する。

ABSTRACT

Given an image, we wish to produce an image of larger size with significantly more pixels and higher image quality. This is generally known as the Single Image Super-Resolution (SISR) problem. The idea is that with sufficient training data (corresponding pairs of low and high resolution images) we can learn set of filters (i.e. a mapping) that when applied to given image that is not in the training set, will produce a higher resolution version of it, where the learning is preferably low complexity. In our proposed approach, the run-time is more than one to two orders of magnitude faster than the best competing methods currently available, while producing results comparable or better than state-of-the-art. A closely related topic is image sharpening and contrast enhancement, i.e., improving the visual quality of a blurry image by amplifying the underlying details (a wide range of frequencies). Our approach additionally includes an extremely efficient way to produce an image that is significantly sharper than the input blurry one, without introducing artifacts such as halos and noise amplification. We illustrate how this effective sharpening algorithm, in addition to being of independent interest, can be used as a pre-processing step to induce the learning of more effective upscaling filters with built-in sharpening and contrast enhancement effect.

研究の動機と目的

• 既存の最先端技術よりも著しく高速でありながら、画像品質を維持または向上させるスーパーレゾリューション手法の開発。
• 高価なスパースコーディングやディープラーニングに代わる、高速なハッシュベースのフィルタ選択機構を用いて、画像拡大における計算複雑性を低減すること。
• ハローやノイズ増幅を引き起こさずに、シャープニングとコントラスト強化をスーパーレゾリューション処理そのものに統合すること。
• モバイル機器やインタラクティブアプリケーションに適したリアルタイムまたはニアリアルタイムの画像拡大を可能にすること。
• 1回の効率的ステップでデアリーシング、シャープニング、微細ディテール強化が可能なフィルタを学習できるフレームワークを設計すること。

提案手法

• RAISRは、局所的勾配統計が類似するパッチのクラスタごとに1つのフィルタを事前に学習するための、LR-HR画像パッチペアのデータベースを用いる。
• ハッシュ化機構により、各LRパッチが勾配ベースの記述子（CT記述子）に基づいてクラスタにマッピングされ、線形探索ではなく定数時間のフィルタ照合が可能になる。
• 選択された事前学習済みフィルタを各パッチに適用することで、ベースラインのバイリニアアップサンプリングを上回るディテールとシャープネスの向上が達成される。
• 最終的なブレンドステップでは、CTベースのマスクを用いてバイリニアアップサンプリングとフィルタ処理結果を組み合わせ、特に平坦領域でのアーチファクトを抑制する。
• ブレンド機構では、ランダムネスマスクまたはCT記述子のビット変化数を用いて、どこでフィルタ処理結果を優先するかを決定する。
• トレーニングプロセスには、シャープニングと圧縮を用いたHR画像の前処理が含まれており、これによりデアリーシングとコントラスト強化がフィルタに埋め込まれる。

実験結果

リサーチクエスチョン

• RQ1 計算コストが1000倍以上低いにもかかわらず、ニア最先端の画像品質を達成できるスーパーレゾリューション手法は可能か？
• RQ2 高価なスパースコーディングやディープラーニングに代わるハッシュベースのフィルタ選択機構が、正確性を維持したまま代替可能か？
• RQ3 1つのフィルタセットが、アーチファクトを引き起こさずに同時にデアリーシング、シャープニング、コントラスト強化を実行可能か？
• RQ4 CTベースのブレンド戦略は、微細ディテールを保持しつつ、アーチファクトを効果的に抑制できるか？
• RQ5 このフレームワークは、バイリニアアップサンプリングを超える任意の入力画像に適用可能であり、ブースティング機構として拡張可能か？

主な発見

• RAISRは、A+ や SRCNN といった最先端手法と同等またはそれ以上のスーパーレゾリューション結果を達成しているが、実行時間は100倍以上高速である。
• ハッシュ化によるフィルタ照合により、パッチ1つあたりの計算複雑性を線形時間から定数時間に削減し、A+ などの辞書ベース手法に比べて著しく高速である。
• CTベースのブレンド戦略により、平坦領域ではバイリニアアップサンプリングを優先し、テクスチャーやエッジ領域ではフィルタ処理結果を優先することで、アーチファクトのない結果が実現される。
• シャープニングと圧縮を用いたトレーニング画像の前処理により、フィルタが内在的にデアリーシングとコントラスト強化を実行するようになり、後処理の必要がなくなる。
• 自然画像およびテキストの両方で優れた性能を示しており、メモリ使用量は最小限で、1枚あたり2〜3個の線形フィルタの追加コストにほぼ限定される。
• 反復的バックプロジェクションを後処理として適用することで、元のLR画像と整合性を保つことで再構成精度がさらに向上する。