[论文解读] DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks

Orest Kupyn, Volodymyr Budzan+3 more|arXiv (Cornell University)|Nov 19, 2017

Advanced Image Processing Techniques被引用 10

一句话总结

DeblurGAN 提出了一种条件生成对抗网络（cGAN），采用多组件损失函数——结合感知损失、对抗损失和 L1 内容损失——实现端到端的盲运动去模糊。该方法在结构相似性和视觉质量方面达到最先进性能，推理速度比最接近的竞争对手（DeepDeblur）快 5 倍，并提出了一种新颖的合成模糊生成方法以及基于目标检测的评估协议，其与感知质量的相关性优于仅使用 PSNR 的评估方式。

ABSTRACT

We present DeblurGAN, an end-to-end learned method for motion deblurring. The learning is based on a conditional GAN and the content loss . DeblurGAN achieves state-of-the art performance both in the structural similarity measure and visual appearance. The quality of the deblurring model is also evaluated in a novel way on a real-world problem -- object detection on (de-)blurred images. The method is 5 times faster than the closest competitor -- DeepDeblur. We also introduce a novel method for generating synthetic motion blurred images from sharp ones, allowing realistic dataset augmentation. The model, code and the dataset are available at https://github.com/KupynOrest/DeblurGAN

研究动机与目标

• 开发一种基于深度学习的端到端、无需核估计的盲运动去模糊方法。
• 在传统指标（如 PSNR）之外，提升去模糊图像的感知质量和结构相似性。
• 通过设计轻量化、高效的网络结构，加速去模糊推理过程。
• 提出一种真实感强的合成运动模糊生成方法，用于数据增强。
• 提出一种基于目标检测性能的新型评估协议，以更好地反映实际应用中的实用性。

提出的方法

• DeblurGAN 采用条件 GAN 框架，其中生成器通过多尺度残差编码-解码结构学习从模糊图像到清晰图像的映射。
• 模型采用带梯度惩罚的Wasserstein GAN（WGAN-GP）以稳定训练过程并提升模式覆盖能力。
• 多组件损失函数结合了来自预训练 VGG 网络的感知损失、来自判别器的对抗损失以及 L1 重建损失。
• 一种新颖的合成模糊生成方法利用随机相机运动轨迹，从清晰图像中模拟出逼真的运动模糊，从而实现大规模数据增强。
• 生成器网络由两个步长大于 1 的卷积块、九个带有实例归一化与 ReLU 激活的残差块，以及两个转置卷积层组成，用于上采样。
• 判别器被训练以区分真实清晰图像与生成的去模糊图像，从而推动模型恢复更真实的纹理与细节。

实验结果

研究问题

• RQ1 基于多组件损失函数的条件 GAN 是否能在显著快于现有方法的前提下，实现盲运动去模糊的最先进性能？
• RQ2 基于随机运动轨迹的合成模糊生成方法在提升去模糊模型泛化能力方面是否有效？
• RQ3 去模糊质量是否与目标检测性能的相关性优于传统指标（如 PSNR 或 SSIM）？
• RQ4 基于 GAN 的去模糊模型是否能在真实世界模糊图像上的目标检测任务中超越非生成基线模型？
• RQ5 将合成数据与真实世界模糊数据结合，在多大程度上能提升模型的泛化能力与鲁棒性？

主要发现

• 在 GoPro 数据集上，DeblurGAN 的结构相似性（SSIM）得分为 0.816，优于先前方法（包括 DeepDeblur，SSIM 为 0.807）和非 CNN 基线方法。
• 在 Kohler 数据集上，DeblurGAN 的 PSNR 达到 26.10，SSIM 为 0.816，表明其在不同基准测试中均具备强大的泛化能力。
• DeblurGAN 的推理速度比 DeepDeblur 快 5 倍，显著优于最接近的竞争对手。
• 在真实世界模糊街景数据集上使用 YOLO 进行目标检测评估时，DeblurGAN 的召回率为 0.742，F1 得分为 0.704，优于 DeepDeblur（召回率 0.552，F1 得分 0.665）。
• 合成与真实模糊数据结合的模型（DeblurGAN comb）取得最高 F1 得分（0.704），表明合成数据可有效提升模型鲁棒性。
• 基于目标检测的评估协议与感知质量的相关性优于 PSNR，因为 DeblurGAN 在提升检测性能方面的效果优于 PSNR 排名所反映的水平。