[論文レビュー] Feedback Network for Image Super-Resolution

Zhen Li, Jinglei Yang+4 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Image Processing Techniques参考文献 47被引用数 47

ひとこと要約

論文は SRFBN を提案する。高レベル情報を用いて低レベル特徴を refine するための専用のフィードバックブロックを用い、複雑な劣化に対してカリキュラム学習を取り入れて初期 reconstruction を強化し、反復を通じて refine する recurrent feedback ネットワークである。

ABSTRACT

Recent advances in image super-resolution (SR) explored the power of deep learning to achieve a better reconstruction performance. However, the feedback mechanism, which commonly exists in human visual system, has not been fully exploited in existing deep learning based image SR methods. In this paper, we propose an image super-resolution feedback network (SRFBN) to refine low-level representations with high-level information. Specifically, we use hidden states in an RNN with constraints to achieve such feedback manner. A feedback block is designed to handle the feedback connections and to generate powerful high-level representations. The proposed SRFBN comes with a strong early reconstruction ability and can create the final high-resolution image step by step. In addition, we introduce a curriculum learning strategy to make the network well suitable for more complicated tasks, where the low-resolution images are corrupted by multiple types of degradation. Extensive experimental results demonstrate the superiority of the proposed SRFBN in comparison with the state-of-the-art methods. Code is avaliable at https://github.com/Paper99/SRFBN_CVPR19.

研究の動機と目的

• SR において低レベル表現を高レベル情報を用いて精緻化するためのフィードバック機構の活用を動機づける。
• トポダウン情報フローを効率的に処理し高レベル表現を豊かにするフィードバックブロックを設計する。
• 複雑な劣化に対してカリキュラム学習戦略を用い、初期段階の再構成を強化し、反復を通じて徐々に精練する。

提案手法

• SRFBN を提案する。各反復が LR feature block、feedback block、reconstruction block を含む、T 回の反復展開を持つ反復ネットワーク。
• 高レベル情報を低レベル特徴へ伝搬させるため、複数の projection group と dense skip connections を備えたフィードバックブロック (FB) を導入する。
• 全反復にわたって損失を結びつけ、隠れ状態に有用な高レベル情報を強制する。
• 複雑な劣化モデル BD および DN に対して、反復ごとに易しいから難しいへとターゲットを提示するカリキュラム学習戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 フィードバック機構は SR における低レベル特徴の refinement を高レベル情報を経路として前方へ戻すことで改善できるか。
• RQ2 密な projection を伴う専用のフィードバックブロックは、パラメータを抑えつつ再構成品質を高めるか。
• RQ3 カリキュラム学習は標準的な訓練と比較して複数の劣化モデル下で SR 性能を改善するか。
• RQ4 早期の反復出力は後続よりどうなるか、 SR における多反復 supervision の利点は何か。

主な発見

• フィードバックを用いた SRFBN はフォワードのみの対比を上回り、反復回数 T の増加に伴い性能が向上する。
• フィードバックブロックの projection group が大きいほど SR 精度が高まり、高レベル表現がより豊かであることを示す。
• SRFBN-S は軽量モデル（パラメータ数が 1M 未満）の中でも強力な SR 結果を達成する。
• 自己アンサンブル版 SRFBN+ はさらなる改善を生み、パラメータを抑えつつ一部の大規模モデルに近づくか越える水準に達する。
• BD および DN 劣化下でカリキュラム学習は SR 性能を向上させ、BI からのファインチューニングが結果をさらに押し上げる。