[論文レビュー] Efficient Transformer for Single Image Super-Resolution

Zhisheng Lu, Hong Liu+2 more|arXiv (Cornell University)|Aug 25, 2021

Advanced Image Processing Techniques参考文献 51被引用数 30

ひとこと要約

本稿では、特徴抽出に軽量CNNバックボーン（LCB）と、効率的なマルチヘッドアテンション（EMHA）を備えた軽量Transformerバックボーン（LTB）を組み合わせたハイブリッドCNN-Transformerアーキテクチャ、Efficient Super-Resolution Transformer（ESRT）を提案する。ESRTはGPUメモリ使用量を元のTransformerの16,057MBから4,191MBに削減しながら、競争力あるスーパーレゾリューション性能を達成する。

ABSTRACT

Single image super-resolution task has witnessed great strides with the development of deep learning. However, most existing studies focus on building a more complex neural network with a massive number of layers, bringing heavy computational cost and memory storage. Recently, as Transformer yields brilliant results in NLP tasks, more and more researchers start to explore the application of Transformer in computer vision tasks. But with the heavy computational cost and high GPU memory occupation of the vision Transformer, the network can not be designed too deep. To address this problem, we propose a novel Efficient Super-Resolution Transformer (ESRT) for fast and accurate image super-resolution. ESRT is a hybrid Transformer where a CNN-based SR network is first designed in the front to extract deep features. Specifically, there are two backbones for formatting the ESRT: lightweight CNN backbone (LCB) and lightweight Transformer backbone (LTB). Among them, LCB is a lightweight SR network to extract deep SR features at a low computational cost by dynamically adjusting the size of the feature map. LTB is made up of an efficient Transformer (ET) with a small GPU memory occupation, which benefited from the novel efficient multi-head attention (EMHA). In EMHA, a feature split module (FSM) is proposed to split the long sequence into sub-segments and then these sub-segments are applied by attention operation. This module can significantly decrease the GPU memory occupation. Extensive experiments show that our ESRT achieves competitive results. Compared with the original Transformer which occupies 16057M GPU memory, the proposed ET only occupies 4191M GPU memory with better performance.

研究の動機と目的

• 単一画像スーパーレゾリューション（SISR）における深層Transformerモデルの高い計算コストとメモリ消費を低減すること。
• パフォーマンスを損なわずにビジョンTransformerにおけるGPUメモリ消費を低減すること。
• SISRにおける深層ネットワークのデプロイに適した軽量で効率的なアーキテクチャを設計すること。
• 自己注意機構におけるメモリオーバーヘッドを最小限に抑えることで、より深いネットワーク設計を可能にすること。

提案手法

• 動的特徴マップサイズの調整を可能にする軽量CNNバックボーン（LCB）を統合し、深層特徴を効率的に抽出する。
• 効率的なマルチヘッドアテンション（EMHA）機構に基づく軽量Transformerバックボーン（LTB）を提案する。
• EMHA内に特徴マップの分割モジュール（FSM）を設計し、長大な特徴シーケンスをサブセグメントに分割してメモリ使用量を低減する。
• 自己注意をサブセグメント内でのみ適用することで、計算およびメモリ要件を低く抑えつつパフォーマンスを維持する。
• CNNの効率性とTransformerの長距離モデリング能力を活かすために、LCBとLTBをハイブリッドアーキテクチャで統合する。
• 低インファレンスコストと高解像度画像再構築を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、SISRにおけるGPUメモリ使用量を低減しつつ高いパフォーマンスを維持できるか？
• RQ2 特徴分割モジュール（FSM）は、自己注意計算中のメモリ消費をどの程度低減できるか？
• RQ3 提案された効率的なマルチヘッドアテンション（EMHA）は、SISRタスクにおけるより深いTransformerネットワークの実現を可能にするか？
• RQ4 軽量CNNバックボーン（LCB）は、低い計算コストで特徴抽出の品質を維持できるか？
• RQ5 ビジョンTransformerにおけるSISRのモデルの深さ、メモリ使用量、再構築精度のトレードオフは何か？

主な発見

• 提案されたESRTは、GPUメモリ使用量を元のTransformerの16,057MBから4,191MBに削減し、74％の削減を達成した。
• EMHAを備えた軽量Transformerバックボーン（LTB）は、顕著に低いメモリフットプリントを維持しながらも、競争力あるパフォーマンスを発揮した。
• 特徴分割モジュール（FSM）は、長大なシーケンスを効果的に分割し、低メモリ消費で効率的なアテンション計算を可能にした。
• LCBとLTBのハイブリッド設計により、標準的なTransformerよりも計算コストを低減した高品質な画像再構築が実現された。
• ESRTは、改善された効率性とスケーラビリティを備えた、単一画像スーパーレゾリューション分野における最先端のパフォーマンスを達成した。
• モデルは強力な汎化性能と効率性を示しており、リソース制限のあるデバイスへのデプロイに適している。