[论文解读] DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better

Orest Kupyn, Tetiana Martyniuk+2 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Image Processing Techniques参考文献 50被引用 112

一句话总结

DeblurGAN-v2 引入了一个灵活的、骨干网络无关的 GAN 框架，采用 Feature Pyramid Network 和双尺度 RaGAN-LS 判别器，在显著提高效率的同时实现了最先进或接近最先进的去模糊性能，包括可实时运行的轻型骨干网络。

ABSTRACT

We present a new end-to-end generative adversarial network (GAN) for single image motion deblurring, named DeblurGAN-v2, which considerably boosts state-of-the-art deblurring efficiency, quality, and flexibility. DeblurGAN-v2 is based on a relativistic conditional GAN with a double-scale discriminator. For the first time, we introduce the Feature Pyramid Network into deblurring, as a core building block in the generator of DeblurGAN-v2. It can flexibly work with a wide range of backbones, to navigate the balance between performance and efficiency. The plug-in of sophisticated backbones (e.g., Inception-ResNet-v2) can lead to solid state-of-the-art deblurring. Meanwhile, with light-weight backbones (e.g., MobileNet and its variants), DeblurGAN-v2 reaches 10-100 times faster than the nearest competitors, while maintaining close to state-of-the-art results, implying the option of real-time video deblurring. We demonstrate that DeblurGAN-v2 obtains very competitive performance on several popular benchmarks, in terms of deblurring quality (both objective and subjective), as well as efficiency. Besides, we show the architecture to be effective for general image restoration tasks too. Our codes, models and data are available at: https://github.com/KupynOrest/DeblurGANv2

研究动机与目标

• 在基于 GAN 的端到端框架中解决单图像运动去模糊。
• 引入特征金字塔网络（FPN）作为生成器的一部分，以高效融合多尺度特征。
• 实现骨干网络的灵活性以在精度和速度之间权衡（如 Inception-ResNet-v2 与 MobileNet 变体）。
• 在判别器设计中引入双尺度、相对化的 RaLSGAN 损失，以实现更稳定的训练和更好的感知质量。
• 展示在各基准测试中的效率与质量，并展示其在通用图像恢复任务中的适用性。

提出的方法

• 采用带有特征金字塔网络的生成器来从模糊输入生成清晰图像的条件 GAN 框架。
• 采用具有全局和局部分支的双尺度 RaGAN-LS 判别器以获得多尺度上下文。
• 用 RaGAN-LS 损失替代 DeblurGAN-v1/WGAN-GP 以稳定训练并提升感知质量。
• 实现骨干哟可插拔，支持如 Inception-ResNet-v2 的高质量骨干以及 MobileNet/MobileNet-DSC 的高效性。
• 以混合损失 L_G = 0.5*L_p + 0.006*L_X + 0.01*L_adv 进行训练，其中 L_p 为像素的 MSE，L_X 为来自 VGG 特征的感知损失。
• 通过数据准备流程进行输入处理包括帧内插以合成用于训练的更平滑模糊。

实验结果

研究问题

• RQ1 DeblurGAN-v2 是否在推理速度显著提升的同时实现比前沿方法更高或相当的去模糊质量？
• RQ2 在框架中加入 FPN 与双尺度 RaGAN-LS 判别器如何影响重建质量与训练稳定性？
• RQ3 骨干网络的选择如何影响 DeblurGAN-v2 的精度/效率权衡？
• RQ4 该框架是否可推广应用于超越去模糊的通用图像恢复任务？

主要发现

• 使用轻量级骨干网络（MobileNet、MobileNet-DSC）的 DeblurGAN-v2 在保持竞争的 SSIM/PSNR 的同时，推理速度比前一代方法快高达 100x。
• DeblurGAN-v2（Inception-ResNet-v2）在 GoPro 上获得最高的定量 SSIM/PSNR，同时推理时间显著低于 SRN。
• MobileNet-DSC 变体实现接近实时的帧率去模糊，在 GoPro 规模数据上达到 0.04s/图像。
• 在消融实验中，所提的 FPN 和双尺度 RaGAN-LS 判别器始终优于 DeblurGAN 基线的 PSNR/SSIM。
• 主观评估显示 DeblurGAN-v2（尤其是使用 Inception-ResNet-v2 时）提供优于 prior 方法的感知质量，同时移动骨干网络在视觉上仍具竞争力。
• DeblurGAN-v2 也对超越去模糊的通用图像恢复任务展示出良好前景。