[論文レビュー] Omni Aggregation Networks for Lightweight Image Super-Resolution

Hang Wang, Xuanhong Chen+3 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、空間的およびチャネルワイドな特徴相互作用を同時にモデル化するためのオムニ自己注意（OSA）と、階層的な局所的・ミクロ的・グローバルスケール特徴学習を可能にするオムニスケール集約グループ（OSAG）を導入する、画像超解像のための軽量ビジョントランスフォーマーフレームワーク、Omni-SRを提案する。この手法はたった792Kパラメータで実現され、Urban100 ×4で26.95 dB、Manga109 ×4で31.50 dBの最先端性能を達成した。

ABSTRACT

While lightweight ViT framework has made tremendous progress in image super-resolution, its uni-dimensional self-attention modeling, as well as homogeneous aggregation scheme, limit its effective receptive field (ERF) to include more comprehensive interactions from both spatial and channel dimensions. To tackle these drawbacks, this work proposes two enhanced components under a new Omni-SR architecture. First, an Omni Self-Attention (OSA) block is proposed based on dense interaction principle, which can simultaneously model pixel-interaction from both spatial and channel dimensions, mining the potential correlations across omni-axis (i.e., spatial and channel). Coupling with mainstream window partitioning strategies, OSA can achieve superior performance with compelling computational budgets. Second, a multi-scale interaction scheme is proposed to mitigate sub-optimal ERF (i.e., premature saturation) in shallow models, which facilitates local propagation and meso-/global-scale interactions, rendering an omni-scale aggregation building block. Extensive experiments demonstrate that Omni-SR achieves record-high performance on lightweight super-resolution benchmarks (e.g., 26.95 dB@Urban100 $ imes 4$ with only 792K parameters). Our code is available at \url{https://github.com/Francis0625/Omni-SR}.

研究の動機と目的

• 軽量ビジョントランスフォーマーベースの超解像モデルにおける有効受容 field の制限を解消すること。
• 空間的のみまたはチャネル的のみの1次元自己注意（自己注意）の限界を克服し、包括的な特徴相互作用を捉えること。
• 有効受容 field の早期飽和を軽減することで、浅いモデルにおける特徴表現を向上させること。
• 局所的・ミクロ的・グローバルスケールの各段階で段階的かつ階層的な特徴学習を可能にする、マルチスケール集約スキームを設計すること。

提案手法

• 空間的およびチャネル次元の両方において同時に共分散行列を計算する3次元相互作用機構であるオムニ自己注意（OSA）を提案し、多軸特徴相互作用を可能にする。
• 計算効率を維持しながら文脈モデリングを強化するため、窓分割戦略（例：Swinスタイル）とOSAを統合する。
• 局所的畳み込み（微細なディテールのため）、ミクロスケール自己注意（中間スケールのパターンのため）、グローバル自己注意（長距離文脈のため）の3つの段階的なコンポONENTを備えたオムニスケール集約グループ（OSAG）を設計する。
• 同様のモジュールを一様にスタックするのではなく、異なる演算子（畳み込み、自己注意）を階層的にスタックすることで、同種のモジュールのスタックによる性能飽和を回避する。
• スカラーベースの注目（例：SE、CBAM）ではなく、共分散に基づくチャネル相互作用を採用することで、より豊かな特徴伝搬を実現する。
• FLOPsとパラメータ数を制御することでモデル効率を維持し、わずか792Kパラメータのコンactなモデルを実現する。

実験結果

リサーチクエスチョン

• RQ1 空間的およびチャネルワイドな自己注意を同時に適用することで、軽量超解像モデルにおける特徴表現が向上するか？
• RQ2 局所的・ミクロ的・グローバルスケールの異なるコンポONENTを備えたマルチスケール集約スキームは、同種の演算子を一様にスタックする手法を上回る性能を示すか？
• RQ3 提案されたOSAモジュールは、従来の注目メカニズム（例：SE、CBAM）と比較して、性能および最適化安定性において優れているか？
• RQ4 オムニスケール設計は、浅いモデルにおける有効受容 field の飽和問題をどの程度軽減できるか？
• RQ5 提案されたフレームワークは、非常に少ないパラメータ数（100万未満）で最先端の性能を達成できるか？

主な発見

• Omni-SRは、たった792KパラメータでUrban100 ×4で26.95 dBを達成し、軽量モデルにおける新たなSOTAを樹立した。
• Omni-SRはパラメータ数が少ないにもかかわらず、Urban100 ×4でSwinIRを0.04 dB上回った。
• チャネルワイド成分を削除したOmni-SR_spでは性能が0.13 dB低下し、チャネル相互作用の重要性が示された。
• 局所的・ミクロ的・グローバルスケールの3つのコンポonentを備えたOSAG設計が最良の性能を示し、単一または二重コンポonentの構成を上回った。
• 完全なモデルでは滑らかな損失ランドスケープと高速な収束を示し、より優れた最適化特性を示した。
• 共分散ベースの相互作用を採用したOSAモジュールは、FLOPsを合わせた場合でも、スカラーベースの代替手法（例：SE、CBAM）を上回った。