[論文レビュー] Dual Aggregation Transformer for Image Super-Resolution

Zheng Chen, Yulun Zhang+4 more|arXiv (Cornell University)|Aug 7, 2023

Advanced Image Processing Techniques被引用数 18

ひとこと要約

この論文は、画像超解像のための Dual Aggregation Transformer (DAT) を提案し、空間自己注意とチャンネル自己注意を適応的相互作用で交互に用い、空間ゲート FFN を導入してブロック間およびブロック内の特徴を強力に集約することで、最先端手法を上回る性能を実現します。

ABSTRACT

Transformer has recently gained considerable popularity in low-level vision tasks, including image super-resolution (SR). These networks utilize self-attention along different dimensions, spatial or channel, and achieve impressive performance. This inspires us to combine the two dimensions in Transformer for a more powerful representation capability. Based on the above idea, we propose a novel Transformer model, Dual Aggregation Transformer (DAT), for image SR. Our DAT aggregates features across spatial and channel dimensions, in the inter-block and intra-block dual manner. Specifically, we alternately apply spatial and channel self-attention in consecutive Transformer blocks. The alternate strategy enables DAT to capture the global context and realize inter-block feature aggregation. Furthermore, we propose the adaptive interaction module (AIM) and the spatial-gate feed-forward network (SGFN) to achieve intra-block feature aggregation. AIM complements two self-attention mechanisms from corresponding dimensions. Meanwhile, SGFN introduces additional non-linear spatial information in the feed-forward network. Extensive experiments show that our DAT surpasses current methods. Code and models are obtainable at https://github.com/zhengchen1999/DAT.

研究の動機と目的

• SR における単一次元の Transformer 自己注意の制限を、空間とチャンネルの文脈の両方を活用して動機付け・解決する。
• inter-block および intra-block レベルで空間情報とチャンネル情報を融合させる dual-aggregation フレームワークを提案する。
• intra-block の特徴融合と局所性を強化する適応的相互作用および空間ゲート FFN モジュールを開発する。
• 以前の手法と比較してモデルサイズと計算量を抑えつつ、SR 性能の改善を実証する。

提案手法

• 連続する Transformer ブロック間で空間ウィンドウ自己注意 (SW-SA) とチャンネル方向自己注意 (CW-SA) を交互に適用し、ブロック間の特徴集約を可能にする。
• Adaptive Interaction Module (AIM) を導入して Spatial-Interaction (S-I) および Channel-Interaction (C-I) によって空間ブランチとチャンネルブランチを融合させ、適応的なブランチ間情報交換を実現する。
• AIM に由来する Adaptive Spatial Self-Attention (AS-SA) および Adaptive Channel Self-Attention (AC-SA) を開発し、グローバル特徴と局所特徴の結合を改善する。
• FFN 層の間に空間ゲートを追加して非線形な空間情報を注入し、チャンネルの冗長性を低減する Spatial-Gate Feed-Forward Network (SGFN) による intra-block 強化。
• 2 つの DAT 変種を提供：より軽量な DAT-S と、深さ・ウィンドウサイズ・拡張因子が異なるより大きな DAT。
• DIV2K/Flickr2K を用いて SR の上昇倍率 x2、x3、x4 を評価・訓練し、PSNR/SSIM 指標で最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 Transformer ブロックで空間自己注意とチャンネル自己注意を交互に適用することで、全体的なグローバル空間文脈とチャンネル文脈の両方を捉え、SR の性能を改善できるか。
• RQ2 ブランチ間の適応的相互作用（AIM）は、並列ブランチよりも優れた特徴融合を生み出すか。
• RQ3 FFN に空間ゲートを導入する（SGFN）ことで、コストを過度に増やすことなく intra-block の特徴集約を強化できるか。
• RQ4 DAT-S および DAT は、標準的なベンチマークにおける PSNR/SSIM の観点で既存の SR 手法と比較してどうか。

主な発見

• DAT とその自己アンサンブル変種 DAT+ は、複数のスケーリング因子において標準ベンチマークで現代の SR 手法を上回る。
• 定量的な結果は、PSNR/SSIM の最先端と競合する改善を示す。例として Set5 x2: DAT+ PSNR 38.63 dB and SSIM 0.9631; x3: 35.19 dB and 0.9334; x4: 33.15 dB and 0.9062（Table 2 に基づく値）。
• アブレーション研究は、SW-SA と CW-SA の交互実装による inter-block 集約、AIM の intra-block 融合、SGFN の FFN における空間情報の有効性を検証している。
• DAT-S（軽量化版）は、複雑さとモデルサイズを抑えつつ、従来の手法と比較して同等またはそれ以上の性能を達成する。