[論文レビュー] BAM: A Lightweight and Efficient Balanced Attention Mechanism for Single Image Super Resolution.

Fanyi Wang, Haotian Hu+1 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Image Processing Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、単一画像超解像（SISR）のための軽量で効率的なバランス型アテンションメカニズムであるBAMを提案する。ACAM（AvgPool Channel Attention Module）とMSAM（MaxPool Spatial Attention Module）を並列に組み合わせることで、自己および相互最適化を可能にし、12のSISRネットワークで性能向上を達成する。BAMはアーキテクチャの変更なしにパラメータを削減し、推論を高速化する。

ABSTRACT

Attention mechanism has shown enormous potential for single image super-resolution (SISR). However, existing works only proposed some attention mechanism for a specific network. A universal attention mechanism for SISR, which could further improve the performance of networks without attention and provide a baseline for networks with attention, is still lacking. To fit this gap, we propose a lightweight and efficient Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. The information extraction mechanism of ACAM and MSAM effectively filters redundant information, making the overall structure of BAM very lightweight. Owing to the parallel structure, during the gradient backpropagation process of BAM, ACAM and MSAM not only conduct self-optimization, but also mutual optimization so as to generate more balanced attention information. To verify the effectiveness and robustness of BAM, we applied it to 12 state-ofthe-art SISR networks. The results on 4 benchmark datasets demonstrate that BAM can efficiently improve the networks' performance, and for those with attention, the substitution with BAM further reduces the amount of parameters and increase the inference speed. Moreover, ablation experiments were conducted to prove the minimalism of BAM.

研究の動機と目的

• 注意機構を備えたネットワークおよび非注意機構を備えたネットワークの両方に適用可能な普遍的で軽量なアテンションメカニズムの欠如に対処すること。
• モデルの複雑さを増加させずに特徴表現を向上させるアテンションモジュールの開発。
• プラグアンドプレイ設計により、さまざまなSISRアーキテクチャとの互換性と性能向上を確保すること。
• 超解像タスクにおける性能向上を最大化しながら、計算コストを最小限に抑えること。
• アテンションモジュールを備えた・ないにかかわらず、将来のSISRモデルの強力でパラメータ効率の良いベースラインを提供すること。

提案手法

• ACAM（AvgPool Channel Attention Module）とMSAM（MaxPool Spatial Attention Module）を並列に組み合わせたアーキテクチャを提案し、バランスの取れた特徴精錬を実現する。
• ACAMでは平均プーリングを用いてチャネルごとの依存関係とグローバルなコンテキストを捉えることでチャネルアテンションを実現する。
• MSAMでは最大プーリングを用いて空間的特徴を強調し、重要な空間的位置を際立たせる。
• バックプロパゲーション中にACAMとMSAMが相互に注意マップを精錬できるようにすることで、共同最適化を可能にする。
• 追加パラメータを最小限に抑えた軽量モジュールとしてBAMを設計し、既存のSISRネットワークへの統合に適している。
• BAMを12の最先端SISRネットワークにプラグインモジュールとして適用し、汎用性と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの設計にかかわらず、多様なSISRネットワークで性能を向上させる普遍的なアテンションメカニズムを設計可能か？
• RQ2 ACAMとMSAMの並列結合は、逐次的または単一ブランチのメカニズムと比較して、よりバランスの取れた効果的なアテンション学習をもたらすか？
• RQ3 BAMは、性能を維持または向上させつつ、モデルのパラメータ数と推論時間をどの程度削減できるか？
• RQ4 SISRネットワークに既存のアテンションモジュールを置き換えた場合、BAMの性能はいかがなものか？
• RQ5 BAMのモデル複雑度への影響は最小限か？ また、さまざまなベンチマークで効率性を維持できるか？

主な発見

• BAMは4つのベンチマークデータセットにおいて、12の最先端SISRネットワークすべてで性能を一貫して向上させ、優れた汎用性を示した。
• 既存のアテンションモジュールを置き換えた場合、BAMはモデルのパラメータ数を削減し、推論速度を向上させ、効率性の向上を示した。
• アブレーションスタディにより、BAMの単純さが確認され、ACAMとMSAMの並列構造が低コストの計算オーバーヘッドで高い性能を達成していることが示された。
• バックプロパゲーション中のACAMとMSAMの相互最適化により、個別のモジュールよりもよりバランスの取れて効果的な注意マップが得られた。
• BAMはアーキテクチャの変更なしに性能向上を達成でき、SISRモデルの実用的で即戦力となるプラグアンドプレイベースラインである。
• 異なるネットワークアーキテクチャにわたってもBAMは頑健であることが証明され、多様なSISR環境での適応性と有効性が確認された。