[论文解读] Deblurring by Realistic Blurring

Kaihao Zhang, Wenhan Luo+5 more|arXiv (Cornell University)|Apr 4, 2020

Advanced Image Processing Techniques参考文献 51被引用 11

一句话总结

本文提出了一种新颖的图像去模糊框架，通过首先使用基于GAN的生成模糊模块（BGAN）学习生成逼真的模糊图像，从而提升去模糊性能，进而引导一个去模糊生成对抗网络（DBGAN）以获得更清晰的结果。通过采用相对模糊损失和一个新的真实世界模糊图像（RWBI）数据集，该方法在GOPRO和真实世界基准测试中均取得了最先进（SOTA）的定量结果和更优的感知质量。

ABSTRACT

Existing deep learning methods for image deblurring typically train models using pairs of sharp images and their blurred counterparts. However, synthetically blurring images do not necessarily model the genuine blurring process in real-world scenarios with sufficient accuracy. To address this problem, we propose a new method which combines two GAN models, i.e., a learning-to-Blur GAN (BGAN) and learning-to-DeBlur GAN (DBGAN), in order to learn a better model for image deblurring by primarily learning how to blur images. The first model, BGAN, learns how to blur sharp images with unpaired sharp and blurry image sets, and then guides the second model, DBGAN, to learn how to correctly deblur such images. In order to reduce the discrepancy between real blur and synthesized blur, a relativistic blur loss is leveraged. As an additional contribution, this paper also introduces a Real-World Blurred Image (RWBI) dataset including diverse blurry images. Our experiments show that the proposed method achieves consistently superior quantitative performance as well as higher perceptual quality on both the newly proposed dataset and the public GOPRO dataset.

研究动机与目标

• 为解决训练数据中合成模糊与真实世界图像模糊之间的差距，该差距限制了去模糊模型的泛化能力。
• 开发一种方法，从无配对的清晰与模糊图像中学习逼真的模糊生成，以减少训练数据与真实世界数据之间的域差距。
• 通过联合训练模糊生成模型（BGAN）和去模糊模型（DBGAN），而非仅依赖去模糊训练，来提升去模糊性能。
• 构建一个新的真实世界模糊图像（RWBI）数据集，以支持逼真去模糊模型的训练与评估。
• 证明学习如何模糊能够增强学习如何去模糊，从而在合成与真实世界基准测试中均实现最先进性能。

提出的方法

• 在无配对的清晰与模糊图像上训练一个生成模糊的生成对抗网络（BGAN），以随机噪声为输入生成照片级真实的模糊图像。
• BGAN采用相对模糊损失，以最小化真实模糊图像与合成模糊图像之间的差异，从而提升生成图像的真实性。
• 训练一个生成去模糊的生成对抗网络（DBGAN），以从模糊输入中恢复清晰图像，同时使用真实模糊图像和BGAN生成的模糊图像进行训练。
• 完整方法DBGAN(+)通过使用BGAN生成的额外合成模糊图像对去模糊模型进行微调，从而提升鲁棒性与性能。
• 使用内容保留损失训练BGAN，以确保生成的模糊图像保留输入清晰图像的语义内容。
• 收集了一个新的真实世界模糊图像（RWBI）数据集，并用于BGAN的训练和真实世界场景下去模糊性能的评估。

实验结果

研究问题

• RQ1 使用逼真合成的模糊图像训练去模糊模型，是否能在真实世界模糊图像上实现比合成模糊更好的泛化性能？
• RQ2 基于GAN的模糊生成模块（BGAN）在从清晰图像和随机噪声生成照片级真实模糊图像方面是否有效？
• RQ3 引入相对模糊损失是否能提升生成模糊图像的真实性，从而改善去模糊模型的性能？
• RQ4 与标准的仅去模糊训练相比，学习如何模糊在多大程度上能提升去模糊模型的性能？
• RQ5 新收集的真实世界模糊图像数据集（RWBI）是否可作为评估真实条件下去模糊模型性能的可靠基准？

主要发现

• 所提出的DBGAN(+)方法在GOPRO_Large数据集上实现了31.10的PSNR和0.9424的SSIM，优于所有先前的最先进方法。
• 在GOPRO数据集上，DBGAN(+)相比先前最先进方法（Gao et al.）实现了0.18 dB的PSNR提升和0.0003的SSIM提升。
• 在新引入的RWBI数据集上，所提方法在视觉质量与结构保真度方面显著优于先前方法，尤其在复杂真实世界模糊场景中表现更优。
• 消融实验确认BGAN模块对性能提升有贡献，因为DBGAN(+)优于缺乏学习模糊组件的DBGAN(-)。
• 使用相对模糊损失可生成更逼真的模糊图像，从而提升去模糊模型恢复细节与纹理的能力。
• 定性结果表明，所提方法在放大图像区域中能更好地保留纹理与边缘细节，尤其在运动模糊和复杂场景中表现更优。