[論文レビュー] Super-Resolution with Deep Adaptive Image Resampling

Xu Jia, Hong Chang+1 more|arXiv (Cornell University)|Dec 18, 2017

Advanced Image Processing Techniques参考文献 38被引用数 8

ひとこと要約

本論文では、畳み込みネットワークが空間的に変化する補間カーネルを学習する、アダプティブな画像リサンプリングを用いた単一および共同画像スーパーレゾリューションのためのディーブラーニングフレームワークを提案する。固定補間を特徴に依存する学習可能なカーネルに置き換えることで、特に微細なディテールやテクスチャの保持において、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Deep learning based methods have recently pushed the state-of-the-art on the problem of Single Image Super-Resolution (SISR). In this work, we revisit the more traditional interpolation-based methods, that were popular before, now with the help of deep learning. In particular, we propose to use a Convolutional Neural Network (CNN) to estimate spatially variant interpolation kernels and apply the estimated kernels adaptively to each position in the image. The whole model is trained in an end-to-end manner. We explore two ways to improve the results for the case of large upscaling factors, and propose a recursive extension of our basic model. This achieves results that are on par with state-of-the-art methods. We visualize the estimated adaptive interpolation kernels to gain more insight on the effectiveness of the proposed method. We also extend the method to the task of joint image filtering and again achieve state-of-the-art performance.

研究の動機と目的

• 固定補間の限界を克服するため、コンテンツに応じた適応的で意識的なリサンプリングカーネルを学習すること。
• 局所的な画像構造を動的補間重みでモデル化することで、画像再構成品質を向上させること。
• 深度マップなどのガイドによって、深度画像の向上を含む共同スーパーレゾリューションタスクへのアプローチの拡張を図ること。
• 学習されたカーネルが、従来の方法よりもエッジやテクスチャをよりよく保持できることを示すこと。

提案手法

• 残差ブロックを備えたU-Netに類似したエンコーダ-デコーダー構造のネットワークを用い、特徴を抽出し、アダプティブ補間カーネルを予測する。
• 特徴マップをターゲット解像度にアップサンプリングするためのサブピクセル畳み込み層の後、予測されたカーネルを適用する学習可能なリサンプリング層を設ける。
• 各出力ピクセルに対して $5\times5$ の補間カーネルを予測するが、スパarsityのため中央の $3\times3$ 領域のみ可視化される。
• 共同スーパーレゾリューションのため、ガイド特徴（例：深度マップ）を入力と合わせて、カーネル予測を条件づける。
• 高周波数ディテールの回復を最適化するために、知覚的損失とコンテンツ損失を用いて、エンド・トゥ・エンドでモデルを訓練する。
• 標準的な最近傍またはバイリニアアップサンプリングに代わり、学習可能で空間的に変化する畳み込み層を用いて、アダプティブリサンプリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間的適応的補間カーネルは、固定補間を上回る性能を発揮できるか？
• RQ2 アダプティブカーネルは、高解像度画像における微細なテクスチャやエッジの再構成にどのように影響するか？
• RQ3 同じフレームワークを、深度マップなどのガイドを用いた共同スーパーレゾリューションに拡張可能か？
• RQ4 異なる画像コンテンツや構造に応じて、予測されたカーネルはどのように変化するか？

主な発見

• 提案手法は、標準的なスーパーレゾリューションベンチマークで最先端の結果を達成しており、特にPSNRおよびLPIPS指標で優れた性能を示す。
• 可視化結果から、予測されたカーネルはスパースで局所的であり、中心周辺に強い応答を示しており、関連する画像領域に焦点を当てていることがわかる。
• モデルはエッジやテクスチャを適応的に強調するよう学習し、ベースライン手法よりもシャープな出力を得ている。
• 共同スーパーレゾリューションタスクでは、ガイド特徴がカーネル予測を向上させ、より正確な深度強化画像再構成を実現している。