[論文レビュー] Image Super-Resolution Using Very Deep Residual Channel Attention Networks

Yulun Zhang, Kunpeng Li+4 more|arXiv (Cornell University)|Jul 8, 2018

Advanced Image Processing Techniques参考文献 40被引用数 264

ひとこと要約

RCANは残差-in-残差（RIR）アーキテクチャとチャネル注意機構（CA）を備えた非常に深い残差型チャネル注意ネットワークを導入し、特に高倍率で最先端の画像超解像を実現します。

ABSTRACT

Convolutional neural network (CNN) depth is of crucial importance for image super-resolution (SR). However, we observe that deeper networks for image SR are more difficult to train. The low-resolution inputs and features contain abundant low-frequency information, which is treated equally across channels, hence hindering the representational ability of CNNs. To solve these problems, we propose the very deep residual channel attention networks (RCAN). Specifically, we propose a residual in residual (RIR) structure to form very deep network, which consists of several residual groups with long skip connections. Each residual group contains some residual blocks with short skip connections. Meanwhile, RIR allows abundant low-frequency information to be bypassed through multiple skip connections, making the main network focus on learning high-frequency information. Furthermore, we propose a channel attention mechanism to adaptively rescale channel-wise features by considering interdependencies among channels. Extensive experiments show that our RCAN achieves better accuracy and visual improvements against state-of-the-art methods.

研究の動機と目的

• 画像SRのためのより深いネットワークの動機付けと学習難易度の克服。
• スキップ接続を通じて豊富な低周波情報を迂回させ、学習を改善。
• チャネル注意を導入して有益な特徴チャネルを適応的に強調。
• 非常に深いRCANが従来のSR手法を標準ベンチマークで上回ることを示す。

提案手法

• 長いスキップ接続を備えた残差-in-残差（RIR）構造を提案し、非常に深いネットワーク（>400層）を可能にする。
• ショートスキップ接続を持つ複数のRCABを含む残差グループ（RG）を用いて深さを構築。
• 特徴チャネル間の相互依存性をモデル化し、チャネルごとの特徴を再スケーリングするためにチャネル注意（CA）を組み込む。
• RG内にRCAB（ Residual Channel Attention Blocks）を埋め込み、高周波情報を学習させる。
• 最終的にESPCNNベースのアップサンプルモジュールを適用して高解像度出力を生成。
• DIV2KからのLR→HRマッピングに対してL1損失で訓練し、標準SRベンチマークで評価。

実験結果

リサーチクエスチョン

• RQ1 非常に深いネットワークは既存の深いSRモデルを超える性能を発揮できるか。
• RQ2 RIR構造は非常に深いSRネットワークの訓練を安定化させるか。
• RQ3 CAはSRにおいて高周波のチャネル-wise特徴の学習を効果的に導くか。
• RQ4 RCANは複数のスケーリング因子とデータセットにおいて最先端SR手法とどう比較されるか。

主な発見

• RCANは従来手法と比較して2×, 3×, 4×, 8×スケールでSet5, Set14, B100, Urban100, Manga109の標準ベンチマークにおいてPSNR/SSIMが優位。
• 自己アンサンブル（RCAN＋）は深さを増やさずにRCANより結果をさらに改善し、RCAN＋は一貫して最高結果を出す。
• RIRは訓練を大幅に安定化させ、400層を超える畳み込み層を持つネットワークが顕著なSR利得をもたらす。
• CAはチャネル-wise特徴を適応的にリスケーリングすることにより追加的な利得を提供し、特に非常に深いアーキテクチャと組み合わせた場合に効果的。
• RCANはUrban100やManga109のような難易度の高いデータセットで大規模スケールで顕著な改善を示し、より深いが柔軟性に欠けるベースライン（例：EDSR）を上回る。