[論文レビュー] Enriched CNN-Transformer Feature Aggregation Networks for Super-Resolution

Jinsu Yoo, Tae-Hoon Kim+4 more|arXiv (Cornell University)|Mar 15, 2022

Image Processing Techniques and Applications被引用数 8

ひとこと要約

本稿では、局所的特徴抽出にCNNを、長距離依存性モデリングにビジョン・トランスフォーマーを併用するハイブリッド超解像ネットワークであるACT（Aggregated CNN-Transformer）を提案する。トランスフォーマー部内で複数スケールのトークン間の関係を推論可能にするために、クロススケール・トークン・アテンション（CSTA）モジュールを導入することで、繰り返し模様や複雑な構造を有する画像において特に優れた性能を発揮し、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Recent transformer-based super-resolution (SR) methods have achieved promising results against conventional CNN-based methods. However, these approaches suffer from essential shortsightedness created by only utilizing the standard self-attention-based reasoning. In this paper, we introduce an effective hybrid SR network to aggregate enriched features, including local features from CNNs and long-range multi-scale dependencies captured by transformers. Specifically, our network comprises transformer and convolutional branches, which synergetically complement each representation during the restoration procedure. Furthermore, we propose a cross-scale token attention module, allowing the transformer branch to exploit the informative relationships among tokens across different scales efficiently. Our proposed method achieves state-of-the-art SR results on numerous benchmark datasets.

研究の動機と目的

• 純粋なトランスフォーマー基盤の超解像ネットワークが局所的およびマルチスケール特徴を捉える能力に制限を受ける問題に対処する。
• 標準的な自己アテンション機構が局所的パターンやトークン境界アーチファクトを処理する際の欠陥を克服する。
• 特徴学習段階で専用のCNNとトランスフォーマー部から得られる補完的特徴を統合することで、画像復元品質を向上させる。
• 計算コストを著しく増加させることなく、トークン間のマルチスケール関係を効率的に活用するメカニズムを開発する。
• 特に高頻度のパッチ再現性を示すシーンにおいて、標準的な超解像ベンチマークで優れた性能を示すことを実証する。

提案手法

• 局所的特徴と非局所的特徴を独立して処理できる二重ブランチアーキテクチャを設計する。
• 複数スケールの特徴を再トークナイズすることで、トランスフォーマー部がマルチスケールトークン間の関係を学習できるようにするクロススケール・トークン・アテンション（CSTA）モジュールを導入する。
• 最終再構成の前に両ブランチの中間特徴を連結することで、ライト特徴統合を実現する。
• 再トークナイゼーション技術を模倣したマルチスケール再トークナイゼーション戦略を用い、トランスフォーマー部でより豊富でスケールに敏感な表現を生成する。
• 超解像タスクにおける位置埋め込みの必要性を調査し、マルチスケールモデリングと組み合わせた場合、位置埋め込みはあまり重要ではないことが判明した。
• 訓練の安定化と特徴伝搬の向上を図るため、スキップ接続と残差学習を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 CNNとトランスフォーマーの相補的強みを活かすことで、純粋なトランスフォーマー基盤手法を上回る性能を発揮するハイブリッドCNN-Transformerアーキテクチャは実現可能か？
• RQ2 クロススケールアテンション機構は、画像トークン間のマルチスケール関係をどれほど効果的に活用できるか？ これにより、超解像における特徴表現がどのように向上するか？
• RQ3 局所的CNN特徴の統合は、トランスフォーマー基盤の超解像ネットワークにおけるトークナイゼーションに起因するアーチファクトを緩和するか？
• RQ4 本手法は、自己類似性が高く繰り返し模様が顕著な画像において、どの程度性能が向上するか？
• RQ5 トランスフォーマー基盤の超解像フレームワークにマルチスケールアテンションを適用する際、モデルの複雑さと性能のトレードオフはいかなるものか？

主な発見

• ACTは、Urban100やDIV80を含む複数のベンチマークデータセットにおいて、×2、×3、×4の全スケール要因で最先端のPSNRおよびSSIMスコアを達成した。
• Urban100データセットでは、全スケール要因でSwinIRを0.3 dB以上上回るPSNRを達成し、CSTAモジュールが高頻度再現シーンの処理に有効であることを示した。
• 視覚的品質が著しく向上し、文字や複雑なテクスチャといった微細なディテールを正確に再構築した。例えば、「MisutenaideDaisy」画像では、読み取り可能な文字が正しく復元された。
• 「barbara」と「img092」の定性的比較では、ぼやけたアーチファクトが低減され、窓や建物のファサードのような構造物のエッジが鋭く保たれた。
• 最高の性能を達成したにもかかわらず、ACTは競争力のあるモデルサイズ（46Mパラメータ、22G FLOPs）を維持しており、IPT（114Mパラメータ）よりも優れた性能を示した。
• アブレーションスタディにより、二重ブランチアーキテクチャとCSTAモジュールが性能向上に不可欠であることが確認された。トランスフォーマー部は高周波数ディテールに注力し、CNN部は構造的エッジに注力している。