[論文レビュー] Dual-former: Hybrid Self-attention Transformer for Efficient Image Restoration

Sixiang Chen, Ye Tian+2 more|arXiv (Cornell University)|Oct 3, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

Dual-former は、エンコーダー・デコーダー段階で畳み込みベースの局所的特徴抽出を組み合わせ、潜在空間に1つのハイブリッドトランスフォーマーブロック（HTB）を設けることで、長距離の空間的およびチャネルワイドな依存関係を効率的にモデル化するハイブリッド自己注意機構を有するトランスフォーマー・アーキテクチャを提案する。この設計により、画像の霞まし除去、雨の除去、雪の除去タスクで最先端の性能を達成し、計算コストを著しく削減している — 例えば、インDoorの霞まし除去においてMAXIMより1.91 dBのPSNR向上を達成しながら、GFLOPsはその4.2%にまで削減された（9.28G vs. 216.0G）。

ABSTRACT

Recently, image restoration transformers have achieved comparable performance with previous state-of-the-art CNNs. However, how to efficiently leverage such architectures remains an open problem. In this work, we present Dual-former whose critical insight is to combine the powerful global modeling ability of self-attention modules and the local modeling ability of convolutions in an overall architecture. With convolution-based Local Feature Extraction modules equipped in the encoder and the decoder, we only adopt a novel Hybrid Transformer Block in the latent layer to model the long-distance dependence in spatial dimensions and handle the uneven distribution between channels. Such a design eliminates the substantial computational complexity in previous image restoration transformers and achieves superior performance on multiple image restoration tasks. Experiments demonstrate that Dual-former achieves a 1.91dB gain over the state-of-the-art MAXIM method on the Indoor dataset for single image dehazing while consuming only 4.2% GFLOPs as MAXIM. For single image deraining, it exceeds the SOTA method by 0.1dB PSNR on the average results of five datasets with only 21.5% GFLOPs. Dual-former also substantially surpasses the latest desnowing method on various datasets, with fewer parameters.

研究の動機と目的

• 既存のビジョントランスフォーマーに基づく画像修復モデルの高い計算複雑性に対処しつつ、性能を維持または向上させること。
• 畳み込みの局所的モデリングの強みと自己注意機構のグローバルモデリング能力を、計算効率の良いアーキテクチャで統合すること。
• 自己注意を全層にわたって適用するのではなく、潜在空間の1つの層に制限することで、全層にわたる自己注意メカニズムへの依存度を低減すること。
• パrameter数とFLOPsを少なく抑えつつ、複数の画像修復ベンチマークで最先端の手法を上回る、軽量かつ強力なバックボーンを設計すること。

提案手法

• 局所的表現学習を効率的に行うために、深度可分畳み込みとチャネルアテンションを組み合わせた局所的特徴抽出（LFE）モジュールをエンコーダーおよびデコーダー全体に適用する。
• 潜在空間にハイブリッドトランスフォーマーブロック（HTB）を導入し、チャネルと空間の両方の自己注意を同時に実行することで、長距離依存関係をモデル化し、チャネルの不均衡に対処する。
• 複数のアテンションブランチからの特徴を動的に統合するための適応的制御モジュール（ACM）を実装し、空間次元とチャネル次元間の特徴相互作用を向上させる。
• HTB内にマルチブランチのフィードフォワードネットワーク（MFFN）を導入することで、表現能力を強化しつつ、線形の計算複雑性を維持する。
• 再構成の正確性と視認的品質を向上させるために、PSNR損失と知覚的損失を組み合わせたハイブリッド損失関数を適用する。
• 自己注意の計算を、全層ではなく1つのボトルネック層に限定することで、フルアテンショントランスフォーマーと比較してFLOPsを著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 自己注意を1つの潜在層に制限することで、計算コストを著しく削減しつつも、グローバルモデリング能力を保持できるか？
• RQ2 畳み込みベースの局所的特徴抽出と、局所的に特化したハイブリッド自己注意ブロックを組み合わせることで、性能と効率にどのような影響を与えるか？
• RQ3 潜在層における空間的およびチャネルワイドなアテンション間の相互作用に、適応的特徴統合機構（ACM）が与える影響は何か？
• RQ4 LFEモジュールにチャネルアテンションを組み込むことで、FLOPsの増加を最小限に抑えながら、局所的表現学習がどの程度向上するか？
• RQ5 多様な画像修復タスクにおいて、提案されたハイブリッドアーキテクチャは、PSNR、SSIM、計算効率の観点から、既存の最先端手法と比較してどの程度優れているか？

主な発見

• インDoorの単一画像の霞まし除去タスクにおいて、Dual-formerは最先端のMAXIM手法よりも1.91 dBのPSNR向上を達成したが、GFLOPsはMAXIMの4.2%（9.28G vs. 216.0G）にまで削減された。
• 5つのレイン除去データセットにおいて、Dual-formerは平均PSNRでSOTA手法を0.1 dB上回り、GFLOPsはその21.5%（9.28G vs. 140.92G）にまで削減された。
• 適応的制御モジュール（ACM）は、単純な連結やSKファージョンを上回り、PSNR 30.64 dB、SSIM 0.939を達成したが、パラメータ数とFLOPsの増加はわずかであった。
• LFEモジュールにチャネルアテンションを組み込むことで、PSNRは0.42 dB向上（30.22 dB → 30.64 dB）し、FLOPsはわずかに増加（9.24G → 9.28G）し、パラメータ数もわずかに増加（12.52M → 14.23M）した。
• HTB内の並列的局所特徴抽出により、非並列設計と比較してPSNRが0.42 dB向上したが、計算コストの増加は最小限に抑えられた。
• PSNR損失と知覚的損失の組み合わせにより、最も優れた性能（PSNR 30.64 dB、SSIM 0.939）が得られ、L1損失やPSNRのみの訓練よりも優れていた。