[論文レビュー] Recursive Generalization Transformer for Image Super-Resolution

Zheng Chen, Yulun Zhang+3 more|arXiv (Cornell University)|Mar 11, 2023

Advanced Image Processing Techniques被引用数 23

ひとこと要約

本論文は、線形計算量で高解像度画像の超解像におけるグローバル文脈を捉える Recursive Generalization Transformer (RGT) と、再帰的一般化自己注意 (RG-SA) およびハイブリッド適応統合 (HAI) を提案し、最先端の結果を達成する。

ABSTRACT

Transformer architectures have exhibited remarkable performance in image super-resolution (SR). Since the quadratic computational complexity of the self-attention (SA) in Transformer, existing methods tend to adopt SA in a local region to reduce overheads. However, the local design restricts the global context exploitation, which is crucial for accurate image reconstruction. In this work, we propose the Recursive Generalization Transformer (RGT) for image SR, which can capture global spatial information and is suitable for high-resolution images. Specifically, we propose the recursive-generalization self-attention (RG-SA). It recursively aggregates input features into representative feature maps, and then utilizes cross-attention to extract global information. Meanwhile, the channel dimensions of attention matrices (query, key, and value) are further scaled to mitigate the redundancy in the channel domain. Furthermore, we combine the RG-SA with local self-attention to enhance the exploitation of the global context, and propose the hybrid adaptive integration (HAI) for module integration. The HAI allows the direct and effective fusion between features at different levels (local or global). Extensive experiments demonstrate that our RGT outperforms recent state-of-the-art methods quantitatively and qualitatively. Code and pre-trained models are available at https://github.com/zhengchen1999/RGT.

研究の動機と目的

• 局所自己注意を超える画像超解像におけるグローバル文脈モデル化を動機づける。
• 計算量を抑えつつ高解像度SRを扱えるトランスフォーマーベースのアーキテクチャを開発する。
• 代表的特徴マップとクロスアテンションを用いてグローバル情報を集約する RG-SA を設計。
• 局所特徴とグローバル特徴を効果的に融合する Hybrid Adaptive Integration (HAI) を導入。
• 広範な実験を通じて、RGTが最先端のSR性能を達成することを示す。

提案手法

• 浅層特徴抽出、深層特徴抽出、画像再構成モジュールを備えた Recursive Generalization Transformer (RGT) アーキテクチャを提案。
• Recursive-Generalization Self-Attention (RG-SA) を導入し、Recursive Generalization Module (RGM) を用いて定数サイズの代表マップを作成し、グローバル情報交換のためのクロスアテンションを提供。
• アテンション内の query、key、value チャンネルをスケールして冗長性を減らし、効率を向上。
• RG-SA と Local Self-Attention (L-SA) を交互ブロック配置で組み合わせ、グローバル文脈をより効果的に活用。
• 各トランスフォーマーブロックの外側に Hybrid Adaptive Integration (HAI) を適用し、学習可能なアダプタ α によって入力特徴と出力特徴を適応的に融合し、モジュール統合と情報フローを向上。

実験結果

リサーチクエスチョン

• RQ1 RG-SAは線形計算量で高解像度SRに適したグローバル空間情報を捉えることができるか？
• RQ2 HAIを介してRG-SAとL-SAを組み合わせることで、グローバル文脈の活用と再構成品質が向上するか？
• RQ3 RG-SAにおけるチャネルスケーリングと再帰が性能と効率に与える影響は何か？
• RQ4 標準ベンチマークでRGTは最先端のCNNベースおよびトランスフォーマー系SR手法とどう比較されるか？

主な発見

• RGTは標準ベンチマークでx2、x3、x4のスケーリング要因で最近の最先端SR手法を上回る。
• RG-SAはRecursive Generalization Moduleとクロスアテンションにより、線形計算量でグローバル情報モデリングを可能にする。
• HAIはグローバルSAと局所SAモジュール間の特徴統合を改善し、情報フローと性能を向上させる。
• アブレーション研究は、RG-SAの再帰とチャネルスケーリングがFLOPsを削減しPSNR/SSIMを向上させ、HAIが従来のスキップ接続より有意な利得を提供することを示す。
• 訓練データとしてDIV2K/Flickr2K、評価データとしてSet5、Set14、B100、Urban100、Manga109で実験を行い、定量的・定性的改善を示す。