[論文レビュー] Multi-Attention Based Ultra Lightweight Image Super-Resolution

Abdul Muqeet, Jiwon Hwang+4 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Image Processing Techniques参考文献 51被引用数 10

ひとこと要約

この論文では、最小限の計算コストで最先端の性能を達成する、マルチアテンションに基づく超軽量なスーパーリサンプリングネットワークであるMAFFSRNを提案する。マルチアテンションブロック（MAB）とコスト効率の良いアテンションメカニズム（CEA）、および変更されたバイナリゼーション特徴融合（BFF）構造を統合することにより、MAFFSRNはFLOPs、パラメータ数、メモリ使用量を削減しながら、ベンチマークデータセットにおいて既存の軽量モデルを上回り、メモリ効率においてAIM 2020効率的SRチャレンジで1位を獲得した。

ABSTRACT

Lightweight image super-resolution (SR) networks have the utmost significance for real-world applications. There are several deep learning based SR methods with remarkable performance, but their memory and computational cost are hindrances in practical usage. To tackle this problem, we propose a Multi-Attentive Feature Fusion Super-Resolution Network (MAFFSRN). MAFFSRN consists of proposed feature fusion groups (FFGs) that serve as a feature extraction block. Each FFG contains a stack of proposed multi-attention blocks (MAB) that are combined in a novel feature fusion structure. Further, the MAB with a cost-efficient attention mechanism (CEA) helps us to refine and extract the features using multiple attention mechanisms. The comprehensive experiments show the superiority of our model over the existing state-of-the-art. We participated in AIM 2020 efficient SR challenge with our MAFFSRN model and won 1st, 3rd, and 4th places in memory usage, floating-point operations (FLOPs) and number of parameters, respectively.

研究の動機と目的

• 制限された計算リソース下での実世界での展開に適した軽量スーパーリサンプリングネットワークの開発。
• 深層スーパーリサンプリングネットワークにおける特徴の劣化問題に取り組み、アテンションメカニズムを用いて特徴抽出と統合を強化すること。
• 性能を損なわず、FLOPs、メモリ使用量、モデルパラメータ数を最小限に抑える計算コストの低減。
• 定量的指標と実世界の効率ベンチマークの両面で、既存の軽量モデルを上回ること。
• 包括的なアブレーションスタディとAIM 2020効率的SRチャレンジへの参加を通じて、提案アーキテクチャの有効性を検証すること。

提案手法

• ネットワークアーキテクチャは、特徴統合グループ（FFG）を核とし、各FFGはスタックされたマルチアテンションブロック（MAB）を含み、特徴表現を強化する。
• 各MABは、入力特徴に直接アテンションを適用するコスト効率の良いアテンションメカニズム（CEA）を採用し、計算オーバーヘッドを低減する。
• 特徴統合構造は、アブレーションスタディでハイアーチカル特徴統合（HFF）を上回る性能を示した、変更されたバイナリゼーション特徴統合（BFF）アプローチを採用する。
• 受容 field を拡大しつつパラメータ増加を最小限に抑えるために、ESAブロックで標準的な畳み込みグループの代わりに拡張畳み込み（dilated convolutions）を採用する。
• アップサンプリングされた低解像度画像を最終出力に加算する残差スキップ接続を追加し、再構成の正確性を向上させる。
• テクスチャの詳細と構造的正確性のバランスを取るために、知覚損失とL1損失を用いてエンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 軽量なスーパーリサンプリングネットワークは、顕著に削減されたFLOPsとメモリ使用量で最先端の性能を達成できるか？
• RQ2 マルチアテンションブロック（MAB）に複数のアテンションメカニズムを統合することで、深層スーパーリサンプリングネットワークにおける特徴表現はどのように向上するか？
• RQ3 提案されたコスト効率の良いアテンション（CEA）メカニズムは、標準的なアテンションモジュールと比較して、性能を維持しながら計算コストを低減できるか？
• RQ4 変更されたバイナリゼーション特徴統合（BFF）構造は、ハイアーチカル特徴統合（HFF）と比較して、性能と効率の面でどのように異なるか？
• RQ5 提案されたアーキテクチャは、実世界の展開シナリオ（例：AIM 2020効率的SRチャレンジ）において、既存の軽量モデルを上回ることができるか？

主な発見

• AIM 2020効率的SRチャレンジにおいて、MAFFSRNはメモリ使用量で1位、FLOPsで3位、パラメータ数で4位を達成し、すべての競合他者を効率指標で上回った。
• ×4スケーリングにおけるSet5データセットでは、MAFFSRNはPSNR 30.73 dB、SSIM 0.9153を達成し、すべての先行軽量モデルを上回った。
• ×2スケーリングにおけるB100では、MAFFSRNはPSNR 30.58 dB、SSIM 0.9185を達成し、CARNやSRMDNFを上回ったが、パラメータ数は少なく抑えられた。
• ×4スケーリングにおけるUrban100では、MAFFSRNはPSNR 23.13 dB、SSIM 0.5870を達成し、多様な画像分布にわたる強力な一般化性能を示した。
• アブレーションスタディの結果、変更されたBFF構造とCEAブロックがそれぞれ顕著な性能向上に寄与しており、BFFはHFFに比べて特徴統合効率が優れていた。
• 高さの高い構造であるにもかかわらず、MAFFSRNはDIV2Kバリデーションセットで1枚あたり0.104秒の実行時間で、深さと推論速度のバランスが取れていることを示した。