[論文レビュー] Deep Back-Projection Networks for Single Image Super-resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Image Processing Techniques参考文献 13被引用数 35

ひとこと要約

この論文は Deep Back-Projection Networks (DBPN) を提案し、反復的なアップサンプリングとダウンサンプリケーションの射影ユニットと誤差フィードバックを用いて単一画像超解像を改善し、複数データセットで最先端の結果を達成、特に 8x の大規模スケールで。

ABSTRACT

Previous feed-forward architectures of recently proposed deep super-resolution networks learn the features of low-resolution inputs and the non-linear mapping from those to a high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), the winner of two image super-resolution challenges (NTIRE2018 and PIRM2018), that exploit iterative up- and down-sampling layers. These layers are formed as a unit providing an error feedback mechanism for projection errors. We construct mutually-connected up- and down-sampling units each of which represents different types of low- and high-resolution components. We also show that extending this idea to demonstrate a new insight towards more efficient network design substantially, such as parameter sharing on the projection module and transition layer on projection step. The experimental results yield superior results and in particular establishing new state-of-the-art results across multiple data sets, especially for large scaling factors such as 8x.

研究の動機と目的

• 低解像度と高解像度表現間の相互依存性を活用して LR-to-HR 学習を改善する動機付け。
• 反復的なアッププロジェクションとダウンプロジェクションユニットを備えたエンドツーエンドで訓練可能なアーキテクチャを開発する。
• 射影誤差を介して HR 特徴を洗練するための誤差フィードバックを導入する。
• 効率性のためのパラメータ共有や射影ステップ遷移など、ネットワーク設計の改善を検討する。
• 標準 SR ベンチマークで大きなスケールファクター（例：8x）に対して競争力あるいは最先端の性能を示す。

提案手法

• LR特徴をHRへ、そして元へとマッピングし、誤差補正フィードバックループを形成する反復的なアッププロジェクションおよびダウンプロジェクションユニットを提案する。
• 深い結合（深い連結）を用いて全てのアッププロジェクションユニットからのHR特徴マップを統合して再構成する。
• アッププロジェクション/ダウンプロジェクションユニットを残差学習様の機構と大きな受容野（8x8, 12x12 カーネル）を用いて定義し、HR/LRの関係を捉える。
• 密結合（Dense DBPN）を組み込み、正規化/バッチ正規化なしで特徴を再利用し学習を改善する。
• 再帰的な変種（共有射影、遷移層）を導入してパラメータを削減し受容野を広げる。
• 再構成残差を末尾で追加するために、補間されたLR画像から開始する残差 DBPN を試す。

実験結果

リサーチクエスチョン

• RQ1 反復的な相互 LR-HR 射影と誤差フィードバックは SR 品質を改善し、特に大きなスケールファクターで効果があるか？
• RQ2 密な射影、再帰/遷移層、残差学習などのアーキテクチャ的変種は、ベースライン DBPN と比べて精度とパラメータ効率を改善するのか？
• RQ3 射影ユニット間の特徴の結合が SR 再構成品質に与える影響は？
• RQ4 誤差フィードバック（EF）は SR 品質を標準 SR ベンチマーク全体でPSNRと視覚的シャープネスにどう影響するか？

主な発見

• DBPN は NTIRE2018 および PIRM2018 SR チャレンジで最先端の性能を達成。
• DBPN の変種は Set5, Set14, BSDS100, Urban100, Manga109 で 4x SR に対して複数のベースラインより PSNR/SSIM を改善し、特に 8x で顕著な利益。
• Dense DBPN (密な射影ユニット) は非密な変種より性能を改善し、特に難易度の高いデータセットで。
• 再帰設計と残差設計（DBPN-RES-MR64-3）は、いくつかのベースラインより少ないパラメータで強い結果を提供し、4x で Set5 32.65 dB、Set14 29.03 dB、Manga109 で 31.74 dB を達成。
• 誤差フィードバック（EF）は SR 品質を大幅に改善し、例えば DBPN-S with EF の Set5 で 0.53 dB、Set14 で 0.26 dB の利得がある。
• 最も優れた構成（DBPN-RES-MR64-3）は、従来のいくつかの手法よりパラメータが少ないにもかかわらず競争力のある結果を示し、提案設計からの効率向上を強調している。