[論文レビュー] Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution

Gang Wu, Junjun Jiang+2 more|arXiv (Cornell University)|Mar 25, 2023

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、標準的な畳み込みにおける大きなカーネルに代わり、パラメータ数とFLOPsを削減しながら長距離依存関係を効率的に捉えることができる、近隣自己注意（NA）モジュールを統合した軽量な単一画像超解像ネットワークTCSRを提案する。NAモジュールは、大規模なカーネルを置き換えることで、パラメータ数と計算コストを抑える。NAと空間シフト操作を用いた拡張されたフィードフォワードネットワーク（EFFN）を組み合わせることで、TCSRは軽量SISRベンチマークで最先端の性能を達成しながらも、計算コストを低く抑えている。

ABSTRACT

In recent years, the use of large convolutional kernels has become popular in designing convolutional neural networks due to their ability to capture long-range dependencies and provide large receptive fields. However, the increase in kernel size also leads to a quadratic growth in the number of parameters, resulting in heavy computation and memory requirements. To address this challenge, we propose a neighborhood attention (NA) module that upgrades the standard convolution with a self-attention mechanism. The NA module efficiently extracts long-range dependencies in a sliding window pattern, thereby achieving similar performance to large convolutional kernels but with fewer parameters. Building upon the NA module, we propose a lightweight single image super-resolution (SISR) network named TCSR. Additionally, we introduce an enhanced feed-forward network (EFFN) in TCSR to improve the SISR performance. EFFN employs a parameter-free spatial-shift operation for efficient feature aggregation. Our extensive experiments and ablation studies demonstrate that TCSR outperforms existing lightweight SISR methods and achieves state-of-the-art performance. Our codes are available at \url{https://github.com/Aitical/TCSR}.

研究の動機と目的

• 軽量SISRモデルにおける大規模畳み込みカーネルの高コストな計算量とパラメータの増加を解消すること。
• モデルの複雑さを増さずに長距離依存関係を効率的に捉えるパラメータ効率の良いメカニズムを設計すること。
• より良い超解像性能を達成するため、フィードフォワードネットワークにおける局所特徴の集約を改善すること。
• 最小限のFLOPsとパラメータ数で、軽量画像超解像において最先端の性能を達成すること。

提案手法

• 標準的な畳み込みを置き換えるために、スライディングウィンドウ内で自己注意を適用する近隣自己注意（NA）モジュールを提案し、パラメータ数をカーネルサイズから独立させる。
• スライディングウィンドウパターンを用いることで、大規模カーネルで見られるパラメータ数の二次的増加を回避し、長距離依存関係を効率的に抽出する。
• パラメータフリーの空間シフト操作を適用することで、効果的な局所特徴の集約が可能な拡張されたフィードフォワードネットワーク（EFFN）を導入する。
• 浅い特徴抽出モジュールに続いて、EFFNを組み込んだNAブロックをスタックさせ、深層特徴の学習を実現する。
• 高解像度再構成のため、3×3畳み込みとピクセルシャッフルを用いることで、効率性を維持する。
• 大規模カーネルサイズをサポートしつつモデルのコンactnessを損なわない、スケーラブルで軽量なアーキテクチャとしてTCSRを設計する。

Figure 1 : Illustration of the feature extraction. (a) Local pixels are projected and summed as the target output. (b) Neighboring pixels are projected and assembled by the self-attention mechanism.

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムを畳み込み層に効率的に統合することで、大規模カーネルを置き換え、パラメータ数とFLOPsを削減できるか？
• RQ2 提案された近隣自己注意（NA）モジュールは、標準的な大規模カーネルと比較して、長距離依存関係のモデリングにおいてどのように性能を発揮するか？
• RQ3 空間シフト操作を用いた拡張されたフィードフォワードネットワーク（EFFN）は、軽量SISRにおける局所特徴の集約をどの程度改善するか？
• RQ4 TCSRアーキテクチャは、エッジデプロイメントに適した計算効率を維持しながら、最先端の性能を達成できるか？
• RQ5 TCSRモデルは、さまざまなカーネルサイズとモデルの深さにおいて、どの程度スケーラブルか？

主な発見

• Manga109 ×4ベンチマークにおいて、TCSRはわずか1.03Mパラメータで29.43 dBのPSNRを達成し、既存の軽量SISRモデルを上回った。
• 提案されたTCSR-Bバージョンは、880Kパラメータと52 GFLOPsで29.30 dBのPSNRを達成し、SwinIR-light（297ms vs. 52ms）と比較して顕著に遅延を低減した。
• 可視化により、EFFNモジュールがSwinIR-lightおよびTCSRの両方で性能を向上させ、活性化された受容野が拡大していることが確認された。
• アブレーションスタディにより、カーネルサイズを増やすことで性能が向上することが示され、TCSRの受容野サイズのスケーラビリティが裏付けられた。
• NAモジュールにより、標準的な大規模畳み込みと同等の性能を達成するが、はるかに少ないパラメータ数とFLOPsで実現可能であり、より高い効率性を発揮した。

Figure 2 : PSNR vs. Parameters . Comparisons with representative lightweight SISR models on Manga109 ( $\times 4$ ) test dataset.