[论文解读] Deep Motion Blur Removal Using Noisy/Blurry Image Pairs

Shuang Zhang, Ada Zhen+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image Processing Techniques参考文献 39被引用 4

一句话总结

本文提出了一种深度学习框架，通过使用两种新型网络——DeblurRNN（顺序处理）和DeblurMerger（并行处理）——从噪声/模糊图像对中去除运动模糊，以利用两幅图像的互补信息。该方法在去模糊任务中实现了最先进性能，在合成数据和真实世界数据上均优于单图像去模糊和突发去噪技术。

ABSTRACT

Removing spatially variant motion blur from a blurry image is a challenging problem as blur sources are complicated and difficult to model accurately. Recent progress in deep neural networks suggests that kernel free single image deblurring can be efficiently performed, but questions about deblurring performance persist. Thus, we propose to restore a sharp image by fusing a pair of noisy/blurry images captured in a burst. Two neural network structures, DeblurRNN and DeblurMerger, are presented to exploit the pair of images in a sequential manner or parallel manner. To boost the training, gradient loss, adversarial loss and spectral normalization are leveraged. The training dataset that consists of pairs of noisy/blurry images and the corresponding ground truth sharp image is synthesized based on the benchmark dataset GOPRO. We evaluated the trained networks on a variety of synthetic datasets and real image pairs. The results demonstrate that the proposed approach outperforms the state-of-the-art both qualitatively and quantitatively.

研究动机与目标

• 解决从单幅图像中去除空间变化运动模糊的挑战，该问题病态且难以准确建模。
• 通过利用在短时间内连续拍摄的噪声图像与模糊图像之间的互补信息，提升去模糊性能。
• 基于GOPRO基准构建一个真实的合成数据集，包含噪声/模糊/真实清晰图像三元组，用于训练和评估。
• 在定性和定量指标上均优于现有的单图像去模糊和突发去噪方法。

提出的方法

• DeblurRNN首先通过去噪编码器-解码器处理噪声图像，然后利用隐藏状态通过基于RNN的序列架构引导模糊图像的去模糊处理。
• DeblurMerger采用并行的编码器分支分别处理噪声图像和模糊图像，在中间层融合特征，并通过解码器重建清晰图像。
• 通过判别器应用对抗性训练，以增强去模糊结果的感知质量并减少伪影。
• 采用梯度损失、谱归一化和感知损失以稳定训练过程并提高重建保真度。
• 通过模拟GOPRO中清晰图像的突发拍摄，对图像施加运动模糊和噪声，生成包含真实清晰图像的逼真噪声/模糊图像对的合成数据集。
• 通过结合L1损失、对抗性损失和感知损失，端到端训练网络，以优化像素级精度和视觉真实性。

实验结果

研究问题

• RQ1 深度神经网络能否有效结合噪声和模糊图像对，生成比单图像去模糊更清晰、更干净的图像？
• RQ2 对于复杂的空间变化运动模糊，顺序处理（DeblurRNN）还是并行特征融合（DeblurMerger）能带来更好的去模糊性能？
• RQ3 包含真实清晰图像的噪声/模糊图像对的合成数据集，能否实现对真实世界数据的更优泛化和性能表现？
• RQ4 在PSNR、SSIM和视觉质量方面，所提方法与最先进单图像去模糊和突发去噪技术相比如何？

主要发现

• 所提出的DeblurRNN和DeblurMerger网络在GOPRO2数据集上达到更高的PSNR（32.53）和SSIM（0.9561），优于Noise2Noise（PSNR: 30.91, SSIM: 0.9252），证明其在抑制噪声和模糊方面的优越性。
• 在具有大模糊核的合成数据集上，DeblurRNN和DeblurMerger优于SRN和DeblurGAN，后者在去模糊过程中容易产生振铃伪影和残留模糊。
• 在相机抖动和运动物体的真实世界场景中，所提方法比HDR+和Ringaby等人提出的突发去噪方法更好地保留了细节和色彩，后者存在色彩损失和鬼影现象。
• 同时使用噪声图像和模糊图像显著优于单图像去噪（如Noise2Noise），因为噪声图像提供结构先验，而模糊图像则在色彩和信噪比方面具有优势。
• 所提出的合成数据集能有效支持训练，且网络在真实图像对上表现出良好的泛化能力，证实了该方法的鲁棒性。