[論文レビュー] Deep Back-Projection Networks For Super-Resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Image Processing Techniques参考文献 42被引用数 26

ひとこと要約

本論文では、誤差フィードバックを用いた反復的アップサンプリングおよびダウンサンプリングを組み合わせることで、高分解能画像再構成を向上させる、単一画像超解像のための新しい深層学習アーキテクチャであるDeep Back-Projection Networks (DBPN)を提案する。相互に接続されたアップサンプリングおよびダウンサンプリング段階と、特徴マップの密な連結を導入することで、特に8×などの大きなスケーリング要因において、最先端の性能を達成した。Set5データセットでは27.21 dBのPSNRを達成した。

ABSTRACT

The feed-forward architectures of recently proposed deep super-resolution networks learn representations of low-resolution inputs, and the non-linear mapping from those to high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), that exploit iterative up- and down-sampling layers, providing an error feedback mechanism for projection errors at each stage. We construct mutually-connected up- and down-sampling stages each of which represents different types of image degradation and high-resolution components. We show that extending this idea to allow concatenation of features across up- and down-sampling stages (Dense DBPN) allows us to reconstruct further improve super-resolution, yielding superior results and in particular establishing new state of the art results for large scaling factors such as 8x across multiple data sets.

研究の動機と目的

• 大きなスケーリング要因において、特に複雑な低分解能（LR）から高分解能（HR）への依存関係をモデル化できない、純粋なフォワード伝搬型深層超解像ネットワークの限界を克服すること。
• 反復的バックプロジェクションにインspiredされた誤差フィードバック機構を導入することで、特徴の反復的精錬を可能にし、再構成誤差を是正する。
• 交互にアップサンプリングおよびダウンサンプリング段階を用いることで、低分解能および高分解能画像表現の相互関係をモデル化すること。
• アップサンプリングおよびダウンサンプリング段階の間で密な接続を適用することで、特徴の再利用と表現能力を向上させること。
• 特に8×などの大きなスケーリング要因において、複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• ネットワークは、低分解能および高分解能特徴間の双方向的関係をモデル化するために、相互に接続されたアップサンプリングおよびダウンサンプリング段階を交互に用いる。
• 各段階でアッププロジェクションおよびダウンプロジェクションの両方の誤差を計算することで、特徴の精錬と再構成誤差の反復的是正を実現する誤差フィードバック機構を採用する。
• すべてのアップサンプリング段階からの高分解能特徴を深く連結することで、順次伝搬を経ずに多スケール表現を直接利用可能にする。
• 各アップサンプリングおよびダウンサンプリング段階内に密な接続を適用することで、特徴の再利用を促進し、勾配の流れを改善する。
• 予測された高分解能画像と真値の間のピクセル単位の差を最小化する損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• 古典的な反復的バックプロジェクションアルゴリズムをインスピレーションとしながら、バックプロパゲーションが可能な学習可能な深層ニューラルネットワークフレームワークに実装している。

実験結果

リサーチクエスチョン

• RQ1 アップサンプリングおよびダウンサンプリング段階を通じた反復的誤差フィードバックは、標準的なフォワード伝搬ネットワークと比較して、超解像性能を向上させるか？
• RQ2 アップサンプリングおよびダウンサンプリング段階間の相互接続性は、低分解能および高分解能画像の関係をどのようにより良くモデル化するか？
• RQ3 複数のアップサンプリング段階における特徴の密な連結は、再構成品質および一般化性能をどの程度向上させるか？
• RQ4 提案されたDBPNアーキテクチャは、特に8×などの大きなスケーリング要因において、既存の最先端手法を上回る性能を発揮するか？
• RQ5 EDSRのように長時間の学習を要する手法と比較して、より少ないパラメータ数または短い学習時間で、より優れた性能を達成できるか？

主な発見

• Set5データセットにおける8×超解像において、DBPNは27.21 dBのPSNRを達成し、EDSR（26.97 dB）やLapSRN（26.14 dB）といった先行手法を顕著に上回った。
• Dense DBPNバージョンはさらに性能を向上させ、Set5における8×スケーリングで27.21 dBのPSNRを達成し、大きなスケーリング要因における新たな最先端水準を確立した。
• 4×スケーリングにおいては、Set5で32.47 dBのPSNRを達成し、EDSR（32.46 dB）やLapSRN（31.54 dB）を上回り、一貫した優位性を示した。
• ネットワークの誤差フィードバック機構は、再構成アーティファクトを効果的に低減し、特に挑戦的な高倍率シナリオにおける高周波成分の回復を向上させた。
• 深層連結と密な接続の活用により、より良い特徴の再利用と表現が可能となり、より堅牢で正確な超解像出力が得られた。
• DBPNは、Set5、Set14、Urban100を含む複数のデータセットで、特に8×スケーリングにおいて、新たな最先端の結果を確立した。