[论文解读] Intriguing Findings of Frequency Selection for Image Deblurring

Xintian Mao, Yiming Liu+4 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Image Processing Techniques参考文献 54被引用 37

一句话总结

本文揭示在频域对 ReLU 作用再进行逆快速傅里叶变换可以揭示模糊模式，并引入一个可插拔的 Res FFT-ReLU 块，将频域模糊线索与像素域特征融合，在多种架构和数据集上提升去模糊性能。

ABSTRACT

Blur was naturally analyzed in the frequency domain, by estimating the latent sharp image and the blur kernel given a blurry image. Recent progress on image deblurring always designs end-to-end architectures and aims at learning the difference between blurry and sharp image pairs from pixel-level, which inevitably overlooks the importance of blur kernels. This paper reveals an intriguing phenomenon that simply applying ReLU operation on the frequency domain of a blur image followed by inverse Fourier transform, i.e., frequency selection, provides faithful information about the blur pattern (e.g., the blur direction and blur level, implicitly shows the kernel pattern). Based on this observation, we attempt to leverage kernel-level information for image deblurring networks by inserting Fourier transform, ReLU operation, and inverse Fourier transform to the standard ResBlock. 1x1 convolution is further added to let the network modulate flexible thresholds for frequency selection. We term our newly built block as Res FFT-ReLU Block, which takes advantages of both kernel-level and pixel-level features via learning frequency-spatial dual-domain representations. Extensive experiments are conducted to acquire a thorough analysis on the insights of the method. Moreover, after plugging the proposed block into NAFNet, we can achieve 33.85 dB in PSNR on GoPro dataset. Our method noticeably improves backbone architectures without introducing many parameters, while maintaining low computational complexity. Code is available at https://github.com/DeepMed-Lab/DeepRFT-AAAI2023.

研究动机与目标

• 推动去模糊研究考虑模糊核与频域线索，而不仅仅是像素级差异。
• 证明频域 ReLU 能从模糊图像中揭示模糊模式和核信息。
• 提出一个轻量级、可插拔的基于 FFT 的块，用于在标准 ResBlock 中融合核级与像素级特征。
• 展示集成 FFT-ReLU 流在保持最小参数开销的同时提升骨干网络如 MIMO-UNet 和 NAFNet 的性能。

提出的方法

• 证明对模糊图像的傅里叶变换应用 ReLU 再进行逆变换可以分离模糊模式分量。
• 提出 Res FFT-ReLU 块，在标准 ResBlock 中加入一个 FFT-ReLU 流，包括 2D 实数 FFT、1x1 卷积、ReLU 和逆 2D 实数 FFT。
• 在频域引入可学习的复数 1x1 卷积，以调制灵活的频率阈值。
• 用基于 FFT-ReLU 的路径替代 ResBlock 的恒等映射，并与空间残差流融合。
• 给出消融实验，研究 FFT-ReLU 流的位置、阈值效应，以及复数与实数卷积的差异。
• 在 GoPro、HIDE、RealBlur 数据集上进行评估，并给出 PSNR/SSIM 对比、参数、FLOPs 和推理时间。

实验结果

研究问题

• RQ1 频域处理是否能从模糊图像中真实揭示模糊模式和核信息？
• RQ2 在 ResBlock 中加入频域 FFT-ReLU 流是否能在不同骨干网络结构中提升去模糊性能？
• RQ3 频域流中的阈值选择和复数卷积如何影响去模糊结果？
• RQ4 将所提的 Res FFT-ReLU 块接入现有结构如 MIMO-UNet 和 NAFNet 时的经验收益是多少？

主要发现

• 先进行频域 ReLU 再进行逆 FFT 可以揭示模糊模式分量，帮助提取核级信息。
• 将 FFT-ReLU 流插入 ResBlocks，在各架构上获得显著的 PSNR 增益（例如 RSNet 在 GoPro 上从 28.06 提升到 30.30 PSNR，使用 FFT-ReLU）。
• Res FFT-ReLU 块可即插即用，并在 GoPro 与 HIDE 数据集上提升多种骨干网络（如 RSNet、U-Net、MPRNet、MIMO-UNet、NAFNet）。
• 在频率流中使用可学习的复数 1x1 卷积以及一个 FFT-ReLU 通道，比仅实数或简单串联替代方案提供更好的灵活性和性能。
• 用 FFT-ReLU 流替代 ResBlock 的恒等映射，使网络通过频域非线性实现全局上下文学习，从而提升去模糊性能。
• 包含 Res FFT-ReLU 的 FMIMO-UNet 和 FNAFNet 变体在 GoPro、HIDE 和 RealBlur 数据集上达到或接近状态前沿的 PSNR 分数（例如 FMIMO-UNet+ PSNR：GoPro 33.52，HIDE 31.66，RealBlur-R 36.11，RealBlur-J 28.88；FNAFNet64 GoPro PSNR：33.85）。