[論文レビュー] MaxSR: Image Super-Resolution Using Improved MaxViT

Bin-Cheng Yang, Gangshan Wu|arXiv (Cornell University)|Jul 14, 2023

Advanced Image Processing Techniques被引用数 5

ひとこと要約

MaxSR は、改良された MaxViT アーキテクチャに基づく新しい画像スーパーレゾリューションモデルであり、低解像度画像内のグローバル自己類似性を効率的にモデル化するためのアダプティブブロックおよびグリッドアテンション機構を導入している。この手法は、相対的位置埋め込みを必要とせずに計算効率を維持したまま、古典的および軽量スーパーレゾリューションベンチマークの両方で最先端の性能を達成している。

ABSTRACT

While transformer models have been demonstrated to be effective for natural language processing tasks and high-level vision tasks, only a few attempts have been made to use powerful transformer models for single image super-resolution. Because transformer models have powerful representation capacity and the in-built self-attention mechanisms in transformer models help to leverage self-similarity prior in input low-resolution image to improve performance for single image super-resolution, we present a single image super-resolution model based on recent hybrid vision transformer of MaxViT, named as MaxSR. MaxSR consists of four parts, a shallow feature extraction block, multiple cascaded adaptive MaxViT blocks to extract deep hierarchical features and model global self-similarity from low-level features efficiently, a hierarchical feature fusion block, and finally a reconstruction block. The key component of MaxSR, i.e., adaptive MaxViT block, is based on MaxViT block which mixes MBConv with squeeze-and-excitation, block attention and grid attention. In order to achieve better global modelling of self-similarity in input low-resolution image, we improve block attention and grid attention in MaxViT block to adaptive block attention and adaptive grid attention which do self-attention inside each window across all grids and each grid across all windows respectively in the most efficient way. We instantiate proposed model for classical single image super-resolution (MaxSR) and lightweight single image super-resolution (MaxSR-light). Experiments show that our MaxSR and MaxSR-light establish new state-of-the-art performance efficiently.

研究の動機と目的

• 単一画像スーパーレゾリューション（SISR）において、トランスフォーマー・アーキテクチャの強力な表現力と自己類似性モデリング能力を効率的に活用する課題に対処すること。
• 高解像度特徴マップにおける標準的な自己注意の二次的計算複雑度を克服するため、グローバルモデリング能力を維持しつつ、二次未満の複雑度を実現するアダプティブな注意メカニズムを設計すること。
• MaxViT におけるブロックおよびグリッドアテンション機構を強化することで、窓およびグリッド間での動的かつ効率的な情報統合を可能にし、SISR における性能を向上させること。
• 複数のベンチマークデータセットで最先端の結果を達成する高パフォーマンスな MaxSR および軽量バージョン（MaxSR-light）を開発すること。

提案手法

• モデルアーキテクチャは、スリムな特徴抽出ブロック、複数の段階的なアダプティブ MaxViT ブロック、階層的特徴統合ブロック、ピクセルシャッフルおよび畳み込み層を用いた再構成ブロックから構成される。
• 主なイノベーションは、固定サイズのブロックおよびグリッドアテンションを、各グリッドごとのすべての窓および各窓ごとのすべてのグリッドに対して動的に情報を統合するアダプティブ版に置き換えたアダプティブ MaxViT ブロックである。
• アダプティブブロックアテンションは、各窓内での自己注意をすべてのグリッドにわたって計算し、アダプティブグリッドアテンションは、各グリッド内での自己注意をすべての窓にわたって計算することで、効率的なグローバル特徴モデリングを可能にする。
• アダプティブ注意メカニズムは、空間的特徴マップサイズに関して最適な二次未満の複雑度を達成するように設計されており、長距離依存性モデリングと計算効率の両立を図っている。
• 訓練中にアダプティブアテンションと固定アテンションの差を明確に識別できるように、大きなパッチサイズ 128×128 を用いて訓練を行い、バッチサイズを 8 に調整してデータスルーレートを維持している。
• 2 種類のバリエーションが導入されている：古典的 SISR のための MaxSR と、軽量 SISR のための MaxSR-light で、両者とも標準ベンチマークで最先端の性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーにおけるアダプティブ自己注意メカニズムは、計算効率を維持したまま、単一画像スーパーレゾリューションにおけるグローバル特徴モデリングを向上させることができるか？
• RQ2 提案されたアダプティブ MaxViT ブロックは、元の固定アテンション MaxViT ブロックと比較して、SISR タスクにおける性能と効率の面でどのように異なるか？
• RQ3 強化された注意メカニズムは、低解像度画像における自己類似性モデリングをどの程度向上させ、再構成品質を改善できるか？
• RQ4 提案された MaxSR および MaxSR-light モデルは、相対的位置埋め込みに依存せず、標準 SISR ベンチマークで最先端の性能を達成できるか？

主な発見

• MaxSR は、古典的画像スーパーレゾリューションのための 5 つのベンチマークデータセットすべてで、EDSR、RCAN、RRDB、SwinIR、IPT などの先行手法を上回る、新たな最先端性能を達成している。
• MaxSR-light は、軽量 SISR ベンチマークで新たな最先端結果を樹立し、DRRN、CARN、IMDN、SwinIR-light などのモデルを上回っている。
• アブレーションスタディの結果、アダプティブ MaxViT ブロックは固定アテンションバージョンよりも顕著に性能を向上させており、すべてのデータセットで BP-MaxSR が BP-Fix-SA-Tr-Fix-SA-Te を上回っている。
• 推論時でのみアダプティブアテンションを使用する場合（BP-Fix-SA-Tr-Ada-SA-Te）も、固定アテンションベースラインを上回る性能を示しており、アダプティブ性の利点を裏付けている。
• 相対的位置埋め込みを追加すると（BP-MaxSR-RPE）さらに性能が向上するが、主な MaxSR モデルはそれなしでも SOTA を達成しており、効率性を最優先している。
• Set14 および Urban100 における可視的比較では、MaxSR は競合手法と比較して、より鋭いエッジ、豊かなテクスチャ、およびより少ないアーティファクトやぼやけの影響を再現している。