[論文レビュー] Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution

Ao Li, Le Zhang+2 more|arXiv (Cornell University)|Aug 9, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、単一画像超解像のための周波数に配慮したTransformerアーキテクチャ、CRAFTを提案する。CRAFTは、高周波数の詳細を強化する専用の残差ブロック（HFERB）と、シフトされた長方形ウィンドウアテンションブロック（SRWAB）を用いてグローバルなコンテキストを活用する。ハイブリッドフラッシュブロック（HFB）は、相互アテンションを用いて高周波数の事前知識でグローバル特徴を精緻化し、SOTA手法と比較して0.29 dBのPSNR向上を達成するとともに、パラメータ数を15%削減した。

ABSTRACT

Transformer-based methods have exhibited remarkable potential in single image super-resolution (SISR) by effectively extracting long-range dependencies. However, most of the current research in this area has prioritized the design of transformer blocks to capture global information, while overlooking the importance of incorporating high-frequency priors, which we believe could be beneficial. In our study, we conducted a series of experiments and found that transformer structures are more adept at capturing low-frequency information, but have limited capacity in constructing high-frequency representations when compared to their convolutional counterparts. Our proposed solution, the cross-refinement adaptive feature modulation transformer (CRAFT), integrates the strengths of both convolutional and transformer structures. It comprises three key components: the high-frequency enhancement residual block (HFERB) for extracting high-frequency information, the shift rectangle window attention block (SRWAB) for capturing global information, and the hybrid fusion block (HFB) for refining the global representation. To tackle the inherent intricacies of transformer structures, we introduce a frequency-guided post-training quantization (PTQ) method aimed at enhancing CRAFT's efficiency. These strategies incorporate adaptive dual clipping and boundary refinement. To further amplify the versatility of our proposed approach, we extend our PTQ strategy to function as a general quantization method for transformer-based SISR techniques. Our experimental findings showcase CRAFT's superiority over current state-of-the-art methods, both in full-precision and quantization scenarios. These results underscore the efficacy and universality of our PTQ strategy. The source code is available at: https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）とTransformerが単一画像超解像（SISR）において周波数成分、特に高周波数の詳細をどのように捉え、再構成するかを調査すること。
• Transformerが高周波数の詳細を再構成する能力に欠けるという限界を是正し、SISRにおける知覚的品質とシャープネスに不可欠な要因を強化すること。
• CNNが高周波数表現に優れている点と、Transformerが長距離依存性モデリングに優れている点を効果的に統合するハイブリッドアーキテクチャを設計すること。
• 高周波数特徴を事前知識として用いてグローバル表現を精緻化する有効な統合手法を開発し、復元精度を向上させること。
• モデルの複雑さと推論コストを低減しつつ、最先端の性能を達成すること。

提案手法

• 提案されたCRAFTフレームワークは、並列二重ブランチアーキテクチャを採用する。一方のブランチは、低解像度入力から高周波数の詳細を抽出・強化するための高周波数強化残差ブロック（HFERB）を備える。
• もう一方のブランチは、シフトされたウィンドウを用いた改良型ウィンドウアテンション機構を採用し、シフト長方形ウィンドウアテンションブロック（SRWAB）を用いて長距離依存性とグローバル表現を捉える。
• ハイブリッドフラッシュブロック（HFB）は、SRWABの出力（クエリとして）とHFERBの出力（キーおよびバリューとして）の間でクロスアテンションを実行し、高周波数事前知識を用いてグローバル特徴を精緻化する。
• HFBはチャネル別アテンションを用いることで計算コストを低減しつつ、多周波数特徴の効果的な統合を実現する。
• ネットワークは、L1損失と知覚的損失の組み合わせを用いてエンドツーエンドで訓練され、安定性を高めるためにデータ拡張と学習率スケジューリングが適用される。
• モデルはDIV2K、Real-ESRGAN、Manga109を含む複数のベンチマークで評価され、統合戦略、周波数事前知識、ブロック貢献度に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 CNNとTransformerは、単一画像超解像における高周波数成分の捉え方や再構成能力において、どのように異なるか？
• RQ2 TransformerベースのSISRモデルにおいて、高周波数情報が欠落している場合、CNNベースのモデルと比較して性能がどの程度劣化するか？
• RQ3 高周波数特徴は、TransformerベースのSISRアーキテクチャにおいて、グローバル表現を精緻化する有効な事前知識として機能するか？
• RQ4 ハイブリッドCNN-Transformerフレームワークにおいて、高周波数特徴とグローバル特徴を統合する最適な統合戦略は何か？
• RQ5 少ないパラメータ数とFLOPsで、既存のSOTA手法を上回る性能を達成できる軽量で効率的なアーキテクチャは構築可能か？

主な発見

• CRAFTはDIV2Kデータセットにおいて、SOTA手法と比較して最大0.29 dBのPSNR向上を達成し、優れた性能を示した。
• アブレーションスタディの結果、HFBにおけるクエリとキー/バリューの入力を入れ替えると、PSNRが0.51 dB低下することが確認され、グローバル特徴をクエリ、高周波数特徴をキー/バリューとして使用することが重要であることが裏付けられた。
• CRAFTのカスケード構造バージョンでは、元の設計と比較してPSNRが0.3 dB低下した。これは、並列的でアテンションベースの統合が、逐次処理よりも効果的であることを示している。
• CRAFTはモデルの複雑さを低減した。パラメータ数は753K（SwinIRの897Kと比較）、FLOPsは26.1 GFLOPs（32.2 GFLOPsと比較）、GPUメモリ使用量は79.5 MB（141.2 MBと比較）であり、推論時間は42.8 msにまで短縮された。
• HFBモジュールは、特徴を連結する統合戦略と比較して、0.26 dBのPSNR向上をもたらした。これは、アテンションベースの特徴相互作用が単純なスタッキングよりも優れていることを確認した。
• HFERBブランチは、特にテクスチャが豊富でエッジに敏感な領域において、高周波数詳細の回復に大きく寄与している。HFERBを削除または変更した場合、性能が著しく低下することが確認された。