[論文レビュー] BAM: A Balanced Attention Mechanism for Single Image Super Resolution

Fanyi Wang, Haotian Hu+1 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Image Processing Techniques参考文献 34被引用数 6

ひとこと要約

本稿では、単一画像超解像（SISR）のためのバランス型アテンションメカニズム（BAM）を提案する。BAMは、平均プーリングチャネルアテンションモジュール（ACAM）とマックスプーリングスパティアルアテンションモジュール（MSAM）を並列に組み合わせ、大規模な特徴マップにおけるノイズ抑制と高周波数のテクスチャディテールの保持を同時に実現する。BAMは10の最先端（SOTA）ネットワークで性能を向上させ、パラメータ数を削減し、推論速度を向上させ、提案されたrealSR7データセットにおけるテクスチャ豊富なアリasing領域でも優れた結果を達成する。

ABSTRACT

Recovering texture information from the aliasing regions has always been a major challenge for Single Image Super Resolution (SISR) task. These regions are often submerged in noise so that we have to restore texture details while suppressing noise. To address this issue, we propose a Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. ACAM is designed to suppress extreme noise in the large scale feature maps while MSAM preserves high-frequency texture details. Thanks to the parallel structure, these two modules not only conduct self-optimization, but also mutual optimization to obtain the balance of noise reduction and high-frequency texture restoration during the back propagation process, and the parallel structure makes the inference faster. To verify the effectiveness and robustness of BAM, we applied it to 10 SOTA SISR networks. The results demonstrate that BAM can efficiently improve the networks performance, and for those originally with attention mechanism, the substitution with BAM further reduces the amount of parameters and increases the inference speed. Moreover, we present a dataset with rich texture aliasing regions in real scenes, named realSR7. Experiments prove that BAM achieves better super-resolution results on the aliasing area.

研究の動機と目的

• 単一画像超解像（SISR）において、ノイズに埋もれたアリasing領域におけるテクスチャディテールの回復という課題に対処すること。
• 特徴学習中にノイズ抑制と高周波数テクスチャの保持のバランスを取るメカニズムを開発すること。
• 推論速度を向上させ、モデルパラメータを削減する軽量で並列型のアテンションモジュールを設計すること。
• 10の最先端SISRネットワークを対象にメカニズムを検証し、汎用性とロバスト性を示すこと。
• 複雑なアリasingとテクスチャ劣化を示すチャレンジングなシーンをよりよく評価できるよう、豊富なテクスチャアリasing領域を有する新しい実世界データセットrealSR7を構築すること。

提案手法

• ACAMとMSAMを並列に組み合わせたアーキテクチャを提案し、共同最適化を実現する。
• ACAMを用いて、グローバル平均プーリングと学習可能なアテンション重みを介して、大規模な特徴マップにおける極端なノイズを抑制する。
• MSAMを用いて、マックスプーリングとスパティアルアテンションを活用し、顕著な領域を強調することで、高周波数のテクスチャディテールを保持する。
• 並列構造を通じてバックプロパゲーション中に相互および自己最適化を可能にし、ノイズ低減とテクスチャ回復のバランスを達成する。
• 既存のSISRネットワークに構造変更を加えずにBAMをプラグインモジュールとして統合し、互換性と効率性を確保する。
• 標準的なバックプロパゲーションを用いて、主ネットワークと同時にアテンションモジュールをエンドツーエンドで学習・微調整する。

実験結果

リサーチクエスチョン

• RQ1 二重ブランチアテンションメカニズムは、SISRにおいてノイズ抑制と高周波数テクスチャ回復のバランスを効果的に取ることができるか？
• RQ2 ACAMとMSAMの並列設計は、直列的またはスタック型アテンションと比較して、トレーニング中の最適化ダイナミクスをどのように改善するか？
• RQ3 BAMは、複雑なアリasingとテクスチャ劣化を示す実世界画像において、性能をどの程度向上させるか？
• RQ4 BAMは、既存のSOTA SISRネットワークにおいて、モデルパラメータ数と推論時間を削減しながら性能を向上させるか？
• RQ5 BAMは、realSR7のような豊富なテクスチャアリasing領域を有する新規にキュレートされたデータセットにおいて、どのように性能を発揮するか？

主な発見

• BAMは10の最先端SISRネットワークの性能を顕著に向上させ、ベンチマークデータセットで高いPSNRとSSIMを達成した。
• 元々アテンションモジュールを搭載していたネットワークにおいて、BAMに置き換えることでモデルパラメータ数が削減され、推論速度が向上した。
• realSR7データセットにおいて、BAMはベースライン手法と比較して、アリasing領域内のテクスチャディテール回復において優れた結果を達成した。
• BAMの並列構造により、ACAMとMSAM間の効果的な相互最適化が可能になり、バックプロパゲーション中の特徴表現が向上した。
• 実験により、BAMが多様なSISRアーキテクチャおよび実世界の画像条件において、ロバストで汎用的であることが確認された。