[論文レビュー] Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring

Lingshun Kong, Jiangxin Dong+3 more|arXiv (Cornell University)|Nov 22, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

この論文は、高品質な画像のぼかし除去のための効率的な周波数ドメインベースのTransformer、FFTformerを提案する。畳み込み定理を活用することで、特徴マップのサイズに比例して増加する計算量の高いスケールドドットプロダクトアテンションを、周波数ドメインにおけるO(N log N)の要素ごとの積に置き換える。同時に、JPEGにインspiredされたゲーティングを用いた周波数ベースの分類的FFN（DFFN）を導入し、重要な低周波数および高周波数特徴を保持する。本手法は、FLOPsとパラメータ数を削減しつつ、最先端の性能を達成する。

ABSTRACT

We present an effective and efficient method that explores the properties of Transformers in the frequency domain for high-quality image deblurring. Our method is motivated by the convolution theorem that the correlation or convolution of two signals in the spatial domain is equivalent to an element-wise product of them in the frequency domain. This inspires us to develop an efficient frequency domain-based self-attention solver (FSAS) to estimate the scaled dot-product attention by an element-wise product operation instead of the matrix multiplication in the spatial domain. In addition, we note that simply using the naive feed-forward network (FFN) in Transformers does not generate good deblurred results. To overcome this problem, we propose a simple yet effective discriminative frequency domain-based FFN (DFFN), where we introduce a gated mechanism in the FFN based on the Joint Photographic Experts Group (JPEG) compression algorithm to discriminatively determine which low- and high-frequency information of the features should be preserved for latent clear image restoration. We formulate the proposed FSAS and DFFN into an asymmetrical network based on an encoder and decoder architecture, where the FSAS is only used in the decoder module for better image deblurring. Experimental results show that the proposed method performs favorably against the state-of-the-art approaches. Code will be available at \url{https://github.com/kkkls/FFTformer}.

研究の動機と目的

• 画像のぼかし除去における標準的な自己アテンションの計算コストが特徴マップサイズに比例して二次的に増加する問題に対処すること。
• 特徴表現における関連する周波数成分（低周波数および高周波数）をより良く保持することで、ぼかし除去の品質を向上させること。
• 復元精度を維持または向上させつつ、モデルの複雑さと推論コストを低減すること。
• 画像のぼかし除去において、空間ドメインではなく周波数ドメインにTransformerメカニズムを適用することの利点を検証すること。
• 周波数ベースのアテンションをデコーダーでのみ適用することで、ぼやけた浅い特徴から生じるノイズの増幅を回避する非対称エンコーダ-デコーダアーキテクチャを設計すること。

提案手法

• 空間的畳み込みが周波数ドメインでは点乗算に相当することを応用し、周波数ドメインにおける要素ごとの乗算により、スケールドドットプロダクトアテンションを効率的に計算する周波数ドメインベースの自己アテンションソルバー（FSAS）を提案。計算量はO(N²)からO(N log N)に低減される。
• 畳み込み定理を適用：空間領域の畳み込みは周波数ドメインでは点乗算に等価であり、これにより効率的なアテンション計算が可能になる。
• JPEG圧縮にインspiredされたゲーティング機構を用いた周波数ベースの分類的FFN（DFFN）を導入し、特徴量における有用な周波数成分を効果的に選別して保持する。
• FSASをデコーダーでのみ適用する非対称エンコーダ-デコーダネットワークを設計し、ぼやけた浅い特徴量に対するアテンション計算を回避する。
• FSASとDFFNを統合したエンドツーエンドで学習可能なフレームワークを採用し、ぼかし除去性能と効率性の共同最適化を実現する。
• FFTに基づく操作を用いて特徴マップを周波数空間に変換し、要素ごとの乗算によりアテンションを適用した後、再び空間ドメインに逆変換する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインでの操作により、画像のぼかし除去におけるTransformerの自己アテンションの計算量を性能を損なわずに低減できるか？
• RQ2 デコーダーでのみ周波数ベースのアテンションを適用することで、エンコーダーとデコーダーの両方で適用する場合と比較してぼかし除去品質が向上するか？
• RQ3 FFNにおける周波数に敏感なゲーティング機構は、低周波数および高周波数成分を効果的に選別することで、特徴の精錬を向上させられるか？
• RQ4 PSNR、SSIM、FLOPs、モデルパラメータ数の観点から、本手法は最先端の手法と比較してどのように差をつけるか？
• RQ5 自己アテンションを空間ドメインから周波数ドメインに再定式化することで、ぼかしの除去と鋭いエッジ回復が空間ドメインアテンションよりも優れているか？

主な発見

• 提案されたFSASにより、自己アテンションの空間的および時間的計算量がO(N²)からO(N log N)に低減され、著しく効率性が向上した。
• GoProデータセットにおいて、本手法はPSNR 33.73、SSIM 0.9663を達成し、精度と効率の両面で最先端の手法を上回った。
• アブレーションスタディの結果、FSASをデコーダーでのみ適用した場合、エンコーダーとデコーダーの両方で適用した場合と比較して少なくとも0.17 dB高いPSNRが得られた。
• 標準的なFFNと比較して、DFFNを用いることでPSNRが0.36 dB向上し、周波数に敏感な特徴精錬の有効性が示された。
• 視覚的比較により、FSASとDFFNを併用することで、エッジ回復が良く、アーチファクトが少ない明確な画像が得られることを確認した。
• 従来の手法と比較して、モデルサイズが小さく、FLOPsも低く抑えられることから、精度と効率の良好なトレードオフを達成した。