[论文解读] Handling noise in image deblurring via joint learning

Si Miao, Yongxin Zhu|arXiv (Cornell University)|Jan 27, 2020

Advanced Image Processing Techniques参考文献 21被引用 4

一句话总结

该论文提出了一种联合学习框架 NIDF，用于在噪声条件下进行盲图像去模糊，通过级联一个去噪网络和一个去模糊网络并联合训练实现。与以往先去噪后去模糊的方法不同，NIDF 联合优化两个阶段，显著减少了残留噪声引起的伪影，并在无需噪声水平估计的情况下提升了对强噪声的鲁棒性。

ABSTRACT

Currently, many blind deblurring methods assume blurred images are noise-free and perform unsatisfactorily on the blurry images with noise. Unfortunately, noise is quite common in real scenes. A straightforward solution is to denoise images before deblurring them. However, even state-of-the-art denoisers cannot guarantee to remove noise entirely. Slight residual noise in the denoised images could cause significant artifacts in the deblurring stage. To tackle this problem, we propose a cascaded framework consisting of a denoiser subnetwork and a deblurring subnetwork. In contrast to previous methods, we train the two subnetworks jointly. Joint learning reduces the effect of the residual noise after denoising on deblurring, hence improves the robustness of deblurring to heavy noise. Moreover, our method is also helpful for blur kernel estimation. Experiments on the CelebA dataset and the GOPRO dataset show that our method performs favorably against several state-of-the-art methods.

研究动机与目标

• 解决真实世界模糊图像常受噪声污染的问题，而现有方法在噪声存在时性能下降的显著缺陷。
• 克服级联去噪与去模糊流水线的局限性，即去噪器残留的噪声会在去模糊阶段引发严重振铃伪影。
• 消除以往方法在训练和推理阶段对精确噪声水平估计的依赖，这是实际应用中的主要障碍。
• 通过联合优化提升模糊核估计的准确性，尤其在高噪声和复杂运动模糊的挑战性场景下。
• 开发一种统一的、端到端可训练的框架，提升对不同噪声水平的鲁棒性，且无需为每种噪声水平单独训练模型。

提出的方法

• 提出一种级联的 NIDF 框架，包含两个子网络：一个去噪网络（Net1）和一个去模糊网络（Net2），两者均采用类似 U-Net 的编码器-解码器结构。
• 使用联合损失函数 $\mathcal{L}_{\text{joint}} = \mathcal{L}_{\text{denoiser}} + \mathcal{L}_{\text{deblurring}}$ 联合训练两个子网络，最小化去噪输出和去模糊输出的重建误差。
• 在训练中采用混合噪声水平策略，使模型能够泛化于多种噪声强度，而无需显式输入噪声水平。
• 为保证稳定性，避免使用对抗性训练（与某些基于 GAN 的去模糊方法不同），转而对两个阶段均采用 L2 损失。
• 通过级联结构实现去噪网络与去模糊网络的独立运行，支持高效推理和模块化优化。
• 利用去模糊网络在噪声输入下表现差但去噪网络对模糊具有鲁棒性的特性，使级联结构在效率与有效性上均更优。

实验结果

研究问题

• RQ1 与顺序处理相比，去噪与去模糊子网络的联合训练是否能有效降低残留噪声对去模糊性能的影响？
• RQ2 在噪声水平未知的情况下，联合学习是否能提升重噪声条件下的模糊核估计准确性？
• RQ3 单一 NIDF 模型是否能在无需推理阶段噪声水平估计的前提下泛化于多种噪声水平？
• RQ4 在不同噪声水平下，NIDF 的性能是否优于 BM3D + SRN 或 DnCNN + SRN 等级联流水线？
• RQ5 联合学习是否能带来优于独立或孤立训练子网络的 PSNR、SSIM 和核相似度指标？

主要发现

• 在 CelebA 数据集上，噪声水平 $\sigma = 40$ 时，NIDF 达到 28.64 dB 的 PSNR 和 0.8105 的 SSIM，显著优于次佳方法 BM3D + SRN 的 26.02 dB 和 0.7092。
• 在 GOPRO 数据集上，噪声水平 $\sigma = 30$ 时，NIDF 实现 25.98 dB 的 PSNR 和 0.7759 的 SSIM，超过最佳基线 BM3D + SRN 的 25.32 dB 和 0.7646 SSIM。
• 无联合学习（w/o JL）的 NIDF 表现劣于完整 NIDF 模型，证明联合优化是性能提升的关键。
• 在 CelebA 上，NIDF 的核相似度达到 0.6498，优于甚至超过 Pan 等人 [22] 的最先进方法在强噪声下的表现，表明模糊核估计能力显著提升。
• NIDF 比级联流水线更高效：在 256×256 图像上推理仅需 0.15 秒（PyTorch，Tesla M40），而 BM3D 需 0.21 秒，SRN 需 6.51 秒，显示出显著的效率优势。
• NIDF 在所有噪声水平下均保持强性能，且无需噪声水平估计；而 DnCNN 或 BM3D 等方法若无准确噪声水平输入则易产生伪影。