[论文解读] Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring

Lingshun Kong, Jiangxin Dong+3 more|arXiv (Cornell University)|Nov 22, 2022

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出FFTformer，一种基于频域的高效Transformer模型，用于实现高质量图像去模糊。通过利用卷积定理，它将复杂度为二次方的缩放点积注意力替换为频域中的O(N log N)逐元素乘积，同时引入一种受JPEG启发的判别性频域前馈网络（DFFN），以保留关键的低频和高频特征。该方法在减少FLOPs和参数量的同时，实现了最先进性能。

ABSTRACT

We present an effective and efficient method that explores the properties of Transformers in the frequency domain for high-quality image deblurring. Our method is motivated by the convolution theorem that the correlation or convolution of two signals in the spatial domain is equivalent to an element-wise product of them in the frequency domain. This inspires us to develop an efficient frequency domain-based self-attention solver (FSAS) to estimate the scaled dot-product attention by an element-wise product operation instead of the matrix multiplication in the spatial domain. In addition, we note that simply using the naive feed-forward network (FFN) in Transformers does not generate good deblurred results. To overcome this problem, we propose a simple yet effective discriminative frequency domain-based FFN (DFFN), where we introduce a gated mechanism in the FFN based on the Joint Photographic Experts Group (JPEG) compression algorithm to discriminatively determine which low- and high-frequency information of the features should be preserved for latent clear image restoration. We formulate the proposed FSAS and DFFN into an asymmetrical network based on an encoder and decoder architecture, where the FSAS is only used in the decoder module for better image deblurring. Experimental results show that the proposed method performs favorably against the state-of-the-art approaches. Code will be available at \url{https://github.com/kkkls/FFTformer}.

研究动机与目标

• 为解决标准自注意力机制在图像去模糊任务中随特征图尺寸呈二次方增长的高计算成本问题。
• 通过更好地保留特征表示中的相关频段分量（低频与高频），提升去模糊质量。
• 在保持或提升恢复精度的同时，降低模型复杂度与推理成本。
• 探索将Transformer机制应用于频域而非空间域对图像去模糊任务的优势。
• 设计一种非对称编码器-解码器结构，仅在解码器中应用基于频域的注意力，以避免由模糊浅层特征引起的噪声放大。

提出的方法

• 提出一种基于频域的自注意力求解器（FSAS），通过频域中的逐元素乘法计算缩放点积注意力，将复杂度从O(N²)降低至O(N log N)。
• 应用卷积定理：空间域卷积等价于频域中的逐点乘法，从而实现高效的注意力计算。
• 引入一种基于频域的判别性前馈网络（DFFN），其门控机制受JPEG压缩启发，可选择性地保留特征中的有用频段分量。
• 设计一种非对称编码器-解码器网络，仅在解码器中应用FSAS，避免对模糊浅层特征进行注意力计算。
• 采用端到端可训练框架，联合优化FSAS与DFFN，以实现去模糊性能与效率的协同提升。
• 使用基于FFT的操作将特征图转换至频域，通过逐元素乘法实现注意力计算，并逆变换回空间域。

实验结果

研究问题

• RQ1 频域操作是否能在不损失性能的前提下，降低Transformer在图像去模糊任务中自注意力机制的计算复杂度？
• RQ2 仅在解码器中应用频域注意力，相比在编码器与解码器中均应用，是否能提升去模糊质量？
• RQ3 FFN中引入的频域感知门控机制是否能通过选择性保留低频与高频分量，提升特征精炼效果？
• RQ4 在PSNR、SSIM、FLOPs与模型参数方面，该方法与最先进方法相比表现如何？
• RQ5 自注意力机制在频域中的重构是否相比空间域注意力能实现更好的模糊去除与更清晰的边缘恢复？

主要发现

• 所提出的FSAS将自注意力的时空复杂度从O(N²)降低至O(N log N)，显著提升了效率。
• 在GoPro数据集上，该方法实现了33.73的PSNR与0.9663的SSIM，优于最先进方法，在精度与效率方面均表现更优。
• 消融实验表明，仅在解码器中使用FSAS的模型，其PSNR至少比在编码器与解码器中均使用高0.17 dB。
• 与标准FFN相比，DFFN使PSNR提升0.36 dB，证明其在频域感知特征精炼方面的有效性。
• 视觉对比结果表明，FSAS与DFFN联合使用可生成更清晰的图像，边缘恢复更佳，伪影更少。
• 与先前方法相比，该方法在精度与效率之间实现了更优的权衡，表现为更小的模型尺寸与更低的FLOPs。