[論文レビュー] Multi-grained Attention Networks for Single Image Super-Resolution

Huapeng Wu, Zhengxia Zou+6 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Image Processing Techniques参考文献 47被引用数 7

ひとこと要約

本論文は、チャネルおよび空間的領域における適応的アテンションメカニズムを統合した、マルチスケール特徴抽出と組み合わせた新しい超解像フレームワーク、マルチグレインアテンションネットワーク（MGAN）を提案する。ニューロンの重要度をマルチグレインのアプローチでモデル化し、マルチスケールの密接続を活用することで、コンactなモデルサイズを維持しながら、PSNRおよびSSIMスコアの向上を実現し、最先端の性能を達成した。

ABSTRACT

Deep Convolutional Neural Networks (CNN) have drawn great attention in image super-resolution (SR). Recently, visual attention mechanism, which exploits both of the feature importance and contextual cues, has been introduced to image SR and proves to be effective to improve CNN-based SR performance. In this paper, we make a thorough investigation on the attention mechanisms in a SR model and shed light on how simple and effective improvements on these ideas improve the state-of-the-arts. We further propose a unified approach called "multi-grained attention networks (MGAN)" which fully exploits the advantages of multi-scale and attention mechanisms in SR tasks. In our method, the importance of each neuron is computed according to its surrounding regions in a multi-grained fashion and then is used to adaptively re-scale the feature responses. More importantly, the "channel attention" and "spatial attention" strategies in previous methods can be essentially considered as two special cases of our method. We also introduce multi-scale dense connections to extract the image features at multiple scales and capture the features of different layers through dense skip connections. Ablation studies on benchmark datasets demonstrate the effectiveness of our method. In comparison with other state-of-the-art SR methods, our method shows the superiority in terms of both accuracy and model size.

研究の動機と目的

• 既存のアテンションメカニズムが超解像ネットワークにおいて抱える限界を調査し、改善の余地を同定すること。
• チャネルアテンションと空間アテンションの両方を特別なケースとして統合できる包括的なアテンションメカニズムを構築すること。
• 複数スケールの特徴抽出と層間の密なスキップ接続を組み合わせることで、特徴表現を強化すること。
• PSNR、SSIM、モデル効率の観点から、優れた超解像性能を達成すること。

提案手法

• 複数スケールの周囲領域に基づいて、ニューロンの重要度を計算するマルチグレインアテンションメカニズムを提案する。
• チャネルアテンションと空間アテンションを包括的なマルチグレインアテンションフレームワークの特別なケースとして統合する。
• 異なる層およびスケールからの特徴を統合するためにマルチスケールの密接続を採用し、特徴の再利用と表現力を向上させる。
• 事前のバイキュービック補間を不要とし、エンドツーエンドのアップスケーリングをサブピクセル畳み込みで実現することで、計算コストを低減する。
• 局所的およびグローバルな文脈に基づいて、学習可能なアテンション重みを用いて特徴応答を適応的に再スケーリングする。
• マルチグレインアテンションモジュールで強化された残差ブロックを備えた深層残差ネットワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 超解像において、チャネルごとおよび空間的特徴の重要度をよりよく捉えるために、アテンションメカニズムをどのように一般化できるか？
• RQ2 分離されたチャネルアテンションや空間アテンションと比較して、マルチグレインアテンションはどの程度性能を向上させるか？
• RQ3 マルチスケールの密接続は、超解像タスクにおける特徴学習とモデル性能を向上させることができるか？
• RQ4 提案されたMGAN手法は、最先端の手法と比較して、精度、モデルサイズ、推論効率のバランスをどのように改善するか？

主な発見

• Set5 x3スケールにおいて、MGANはPSNR 34.65 dB、SSIM 0.9292を達成し、比較したすべての最先端手法を上回った。
• 強化されたMGAN+バージョンは、Set5でPSNR 34.75 dB、SSIM 0.9299を達成し、x3ベンチマークで新たなSOTAを樹立した。
• より挑戦的なUrban100データセットでは、MGANはx3スケールでPSNR 28.61 dB、SSIM 0.8621を達成し、以前の手法を上回った。
• Set5、Set14、Bsd100、Urban100、Manga109の全データセットにおいて一貫した向上を示し、MSRNやRDNと比較して最大0.3 dBのPSNR向上を達成した。
• アブレーションスタディの結果、マルチグレインアテンションとマルチスケールの密接続の両方が性能向上に不可欠であることが確認された。
• EDSR や MSRN よりも深いモデルに比べ、MGANはより小さなモデルサイズを維持しており、より優れた効率性を示している。