[論文レビュー] Attention in Attention Network for Image Super-Resolution

Haoyu Chen, Jinjin Gu+1 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Image Processing Techniques参考文献 41被引用数 63

ひとこと要約

本論文は注意モジュールがSISRに与える影響を分析し、Attention in Attention Network (A2N) を提案。動的な二分岐の A2B ブロックが注意経路と非注意経路を適応的に重み付けし、パラメータ負荷を抑えつつSR性能を向上させる。

ABSTRACT

Convolutional neural networks have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Among recent advances in SISR, attention mechanisms are crucial for high-performance SR models. However, the attention mechanism remains unclear on why and how it works in SISR. In this work, we attempt to quantify and visualize attention mechanisms in SISR and show that not all attention modules are equally beneficial. We then propose attention in attention network (A$^2$N) for more efficient and accurate SISR. Specifically, A$^2$N consists of a non-attention branch and a coupling attention branch. A dynamic attention module is proposed to generate weights for these two branches to suppress unwanted attention adjustments dynamically, where the weights change adaptively according to the input features. This allows attention modules to specialize to beneficial examples without otherwise penalties and thus greatly improve the capacity of the attention network with few parameters overhead. Experimental results demonstrate that our final model A$^2$N could achieve superior trade-off performances comparing with state-of-the-art networks of similar sizes. Codes are available at https://github.com/haoyuc/A2N.

研究の動機と目的

• 注意モジュールがネットワークの各段階にわたってSRにどのような影響を与えるか定量化する。
• すべての注意モジュールが有益とは限らないことを示し、どの時点でSR性能を改善または低下させるかを特定する。
• 低コストの動的二分岐注意機構（A2）とSRを強化するA2Nネットワークを提案する。
• 類似サイズの最先端の軽量SRモデルよりA2Nが性能を上回ることを示す。

提案手法

• 注意ブロックを非注意分岐と注意分岐に分割する動的注意フレームワークを提案する。
• 同じ入力特徴量から分岐の重みを算出し、総和が1になる制約をもちる動的注意モジュールを導入する。
• 分岐を学習可能な1x1畳み込みで融合し、次の特徴マップを形成する。
• A2ブロック（A2B）を構築し、浅い特徴抽出と再構成モジュールを備えたA2Nネットワークとして積み重ねる。
• 標準的なSRベンチマークでYチャンネルのPSNR/SSIMを用いて評価する。
• 類似パラメータ数を持つ複数のSR手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 SRにおいて画像のどの部分が注意機構の恩恵を最も受けやすく、これはネットワークの深さとともにどう変化するか？
• RQ2 すべての注意モジュールはSRに同等に有益なのだろうか、それともいくつかは性能を阻害し得るのか？
• RQ3 入力ごとに分岐の寄与を調整することで、動的な二分岐注意設計は効率的にSR性能を改善できるか？
• RQ4 提案されたA2Nは、同程度のサイズの最先端SRモデルと共通データセット上でどのように比較されるか？

主な発見

• 異なる層での注意モジュールは異なる応答を示す。初期層は低周波成分を強調する傾向があり、後期層は高周波のディテールを強調する。
• すべての層にわたって一様に注意を適用すると利得が最適化されない。特定のブロックに注意を選択的に適用するか、動的重み付けを採用する方が効果的である。
• A2構造は低コストの二分岐融合（注意と非注意）を動的かつ入力依存の重み付けで実現し、パラメータ負荷をほとんど増やさずに表現力を向上させる。
• A2Nは標準ベンチマークで倍率x2, x3, x4に対して最先端の軽量SRモデルと競合するまたは上回るPSNR/SSIMを達成する。
• Scale x3 の Manga109 で A2N-M は AWSRN-M を PSNRで0.15 dB上回る；より大きな倍率の Urban100 および Manga109 では A2N が IMDN より PSNRで0.2 dB超える。
• 動的注意モジュール（DAM）は、拡散指標（DI）が高く、基準法と比較して入力の利用範囲（LAM分析）が広いことを示し、LR情報のより効果的な利用を示している。