[論文レビュー] Transformer for Single Image Super-Resolution

Zhisheng Lu, Juncheng Li+4 more|arXiv (Cornell University)|Aug 25, 2021

Optical Coherence Tomography Applications被引用数 5

ひとこと要約

本稿では、計算コストを著しく削減した状態で単一画像超解像において最先端の性能を達成するハイブリッドCNN-Transformerアーキテクチャ、効率的超解像変換器（ESRT）を提案する。軽量CNNバックボーン（LCB）と高周波数保持ブロックを備えた高効率なマルチヘッドアテンション（EMHA）を用いた軽量Transformerバックボーン（LTB）を統合することで、ESRTはGPUメモリ使用量を4,191Mにまで低減（元のTransformerの26％）し、ベンチマークデータセット上でPSNRを最大0.32dB向上させた。

ABSTRACT

Single image super-resolution (SISR) has witnessed great strides with the development of deep learning. However, most existing studies focus on building more complex networks with a massive number of layers. Recently, more and more researchers start to explore the application of Transformer in computer vision tasks. However, the heavy computational cost and high GPU memory occupation of the vision Transformer cannot be ignored. In this paper, we propose a novel Efficient Super-Resolution Transformer (ESRT) for SISR. ESRT is a hybrid model, which consists of a Lightweight CNN Backbone (LCB) and a Lightweight Transformer Backbone (LTB). Among them, LCB can dynamically adjust the size of the feature map to extract deep features with a low computational cost. LTB is composed of a series of Efficient Transformers (ET), which occupies a small GPU memory occupation, thanks to the specially designed Efficient Multi-Head Attention (EMHA). Extensive experiments show that ESRT achieves competitive results with low computational costs. Compared with the original Transformer which occupies 16,057M GPU memory, ESRT only occupies 4,191M GPU memory. All codes are available at https://github.com/luissen/ESRT.

研究の動機と目的

• 単一画像超解像（SISR）におけるビジョン変換器の高い計算コストとGPUメモリ消費量を低減すること。
• 軽量な変換器機構を用いて、類似した画像パッチ間の長距離特徴依存関係を効果的にモデル化すること。
• 高い性能を維持しながらモデルサイズと推論コストを著しく削減するハイブリッドCNN-Transformerモデルを開発すること。
• 限られたハードウェアリソースを持つ実世界の応用に向け、変換器ベースのSISRモデルの実用的導入を可能にすること。

提案手法

• 特徴マップのサイズを動的に調整することで計算量を低減すると同時に、高周波数フィルタリングモジュール（HFM）により高周波数の詳細を保持する軽量CNNバックボーン（LCB）を提案する。
• 残留パスとアイデンティティパスを適応的に統合することで特徴表現を向上させる、適応的残留特徴ブロック（ARFB）を導入する。
• 自己アテンションを局所的領域に制限することでGPUメモリ使用量を削減する、新しい効率的マルチヘッドアテンション（EMHA）機構を備えた効率的変換器（ET）を設計する。
• EMHAで分割要因を用いて局所化された画像ブロック上でアテンションを計算することで、完全なアテンション計算を伴わずに長距離依存関係を効率的にモデル化する。
• CNNが深層特徴を抽出し、変換器が類似パッチ間の長距離コンテキストをモデル化するハイブリッドアーキテクチャとしてLCBとLTBを統合する。
• 標準的なSISRベンチマーク（Set5、Set14、Urban100）上で、パッチサイズ48×48、バッチサイズ16でモデルをエンドツーエンドに訓練する。

Figure 2 : The architecture of the proposed Efficient Super-Resolution Transformer. Among them, LCB, LTB, HPB, and ET stand for the Lightweight CNN Backbone, the Lightweight Transformer Backbone, high preserving block, and efficient Transformers, respectively.

実験結果

リサーチクエスチョン

• RQ1 過度なメモリコストを伴わずに、軽量な変換器機構がSISRにおける類似画像パッチ間の長距離依存関係を効果的にモデル化できるか。
• RQ2 ハイブリッドCNN-Transformerアーキテクチャは、計算およびメモリのオーバーヘッドを最小限に抑えながら、超解像性能をどのように向上させられるか。
• RQ3 提案された効率的マルチヘッドアテンション（EMHA）は、SISRにおける標準的な変換器と比較して、GPUメモリ使用量をどの程度削減できるか。
• RQ4 提案された効率的変換器（ET）は、RCANのような既存のSISRモデルに最小限のアーキテクチャ的変更で統合可能で、性能を向上させられるか。
• RQ5 ESRTモデルは、IMDN や LK-KPN といった専用の軽量モデルと比較して、実世界の画像においてより優れた性能を発揮するか。

主な発見

• Set5における×4超解像でPSNR 32.18 dBを達成し、元の変換器（32.14 dB）を上回り、GPUメモリ使用量は74％削減（4,191M vs. 16,057M）した。
• 提案された効率的変換器（ET）は、GPUメモリ消費量を元の変換器の1/4にまで低減し、Set5では0.04 dBの性能向上を達成した。
• RCANに統合したETモジュール（RCAN/2+ET）は、パrameter数が46％少ない（8.7M vs. 16M）にもかかわらず、元のRCANモデルと同等またはそれ以上の性能を達成した。
• 実世界の画像（RealSRデータセット）では、×4超解像でPSNR 28.78 dBを達成し、IMDN（28.68 dB）とLK-KPN（28.65 dB）を上回った。
• SwinIRと比較すると、BSD100でほぼ同等の性能（29.15 dB）を達成したが、パrameter数が12％少ない（770K vs. 886K）、GPUメモリ使用量が39％少ない（4,191M vs. 6,966M）という利点があった。
• アブレーションスタディの結果、LCBにおけるHFMとARFBの組み合わせが特徴の保持を向上させるとともに計算量を削減することが確認された。一方、LTBにおけるEMHAは、長距離依存関係の効率的モデル化を可能にした。

Figure 3 : The architecture of the proposed High Preserving Block (HPB), which mainly consists of High-frequency Filtering Module (HFM) and Adaptive Residual Feature Blocks (ARFBs).