[論文レビュー] Gated Multiple Feedback Network for Image Super-Resolution

Qilei Li, Zhen Li+4 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Image Processing Techniques参考文献 32被引用数 29

ひとこと要約

本稿では、1枚の画像超解像のためのゲート付きマルチフィードバックネットワーク（GMFN）を提案する。この手法は、ゲート付きフィードバックモジュールを介して複数のハイレベル特徴量を繰り返し用いて低レベル特徴量を精錬することで、コンactなアーキテクチャで最先端の性能を達成している。RDNのような、顕著に多くの残差密度ブロックを用いるモデルよりも優れた性能を発揮する。

ABSTRACT

The rapid development of deep learning (DL) has driven single image super-resolution (SR) into a new era. However, in most existing DL based image SR networks, the information flows are solely feedforward, and the high-level features cannot be fully explored. In this paper, we propose the gated multiple feedback network (GMFN) for accurate image SR, in which the representation of low-level features are efficiently enriched by rerouting multiple high-level features. We cascade multiple residual dense blocks (RDBs) and recurrently unfolds them across time. The multiple feedback connections between two adjacent time steps in the proposed GMFN exploits multiple high-level features captured under large receptive fields to refine the low-level features lacking enough contextual information. The elaborately designed gated feedback module (GFM) efficiently selects and further enhances useful information from multiple rerouted high-level features, and then refine the low-level features with the enhanced high-level information. Extensive experiments demonstrate the superiority of our proposed GMFN against state-of-the-art SR methods in terms of both quantitative metrics and visual quality. Code is available at https://github.com/liqilei/GMFN.

研究の動機と目的

• 深層超解像ネットワークにおけるフィードフォワードオンativeな特徴フローの制限を解消し、浅い層での文脈情報の活用を制限する要因を克服すること。
• 大きな受容 field を持つハイレベル特徴量を活用して、より豊かな文脈的情報を含む低レベル特徴量の表現を向上させること。
• 複数のハイレベル特徴量からの有用な情報を選択的に強化するフィードバック機構を設計し、ノイズや冗長性を回避すること。
• 従来の手法よりもパrameter数を減らしつつ、より深い特徴精錬を実現し、優れた画像再構成品質を達成すること。
• 複数のフィードバック接続に適応的ゲーティングを組み合わせることで、単一または無制御フィードバックに比べて顕著に超解像性能が向上することを示すこと。

提案手法

• GMFNは、時間ステップを跨いで複数の残差密度ブロック（RDB）を段階的に接続する再帰的アーキテクチャを採用し、特徴量の反復的精錬を可能にしている。
• 隣接する時間ステップ間には複数のフィードバック接続を設け、深層部のハイレベル特徴量を浅層部に再送信している。
• ゲート付きフィードバックモジュール（GFM）は、複数の再ルーティングされたハイレベル特徴量から有用な情報を適応的に選択・強化し、それを低レベル特徴量と融合する。
• GFMは学習可能なゲートを用いて情報の流れを制御し、関連のある文脈的特徴量のみを低レベル表現の精錬に使用することを保証している。
• ピクセルレベルの正確性と構造的忠実性の両方を維持するため、L1損失と知覚的損失の組み合わせを用いてエンドツーエンドで学習している。
• アーキテクチャは2つの時間ステップに展開され、それぞれに7つのRDBが含まれており、コンactではあるが極めて効果的なモデルとなっている。

実験結果

リサーチクエスチョン

• RQ1 大きな受容 field を持つ複数の階層的ハイレベル特徴量が、超解像ネットワークにおける低レベル特徴量表現を向上させることができるか？
• RQ2 複数のフィードバックパスからの有用な情報を選択的に強化するゲート付きフィードバック機構は、無制御または単一パスフィードバックに比べて、より優れた再構成品質をもたらすか？
• RQ3 複数のフィードバック接続を持つ再帰的フィードバック機構は、RDNのようなフィードフォワードネットワークに比べて、より少ないパラメータで最先端の性能を達成できるか？
• RQ4 SRFBNのような既存のフィードバックベース手法と比較して、提案手法のフィードバック機構は視覚的品質および定量的指標において優れているか？
• RQ5 パフォーマンスとモデル複雑度のバランスを考慮した場合、フィードバックネットワークにおける最適な時間ステップ数とRDB数は何か？

主な発見

• Urban100データセットにおいて×4スケールで、GMFNはPSNR 32.55 dB、SSIM 0.8991を達成し、16個のRDBを用いる最先端のRDNモデルを上回った。
• Manga109データセットにおいて×4スケールで、GMFNは31.24 dBのPSNRと0.9174のSSIMを達成し、EDSR、D-DBPN、SRFBNを含むすべての比較手法を上回った。
• RDNが16個のRDBを用いるのに対し、GMFNは14個のRDB（時間ステップごとに7個）で同等以上の性能を達成しており、パラメータ効率の高さが示された。
• 定性的な結果では、GMFNは他の最先端手法と比較して、特にテクスチャーや複雑な構造において、より鋭いエッジを再構成し、より多くの微細なディテールを回復している。
• アブレーションスタディの結果、複数のフィードバック接続とゲート付きフィードバックモジュールが性能向上に不可欠であることが確認され、フィードバック機構の省略によりPSNRが著しく低下した。
• Set5、Set14、B100、Urban100、Manga109といった多様なデータセットで強力な汎化性能を維持しており、モデルの堅牢性が裏付けられた。