[论文解读] Reblur2Deblur: Deblurring Videos via Self-Supervised Learning

Huaijin Chen, Jinwei Gu+4 more|arXiv (Cornell University)|Jan 16, 2018

Advanced Image Processing Techniques参考文献 20被引用 6

一句话总结

本文提出 Reblur2Deblur，一种自监督视频去模糊方法，通过在训练过程中强制实施基于物理的模糊形成模型，提升基于深度学习的去模糊性能。通过使用光流将预测的清晰帧重新模糊化以重建输入的模糊帧，该方法在无需真实标签的情况下微调网络，显著减少伪影，并在峰值信噪比（PSNR）和结构相似性（SSIM）方面超越当前最先进方法。

ABSTRACT

Motion blur is a fundamental problem in computer vision as it impacts image quality and hinders inference. Traditional deblurring algorithms leverage the physics of the image formation model and use hand-crafted priors: they usually produce results that better reflect the underlying scene, but present artifacts. Recent learning-based methods implicitly extract the distribution of natural images directly from the data and use it to synthesize plausible images. Their results are impressive, but they are not always faithful to the content of the latent image. We present an approach that bridges the two. Our method fine-tunes existing deblurring neural networks in a self-supervised fashion by enforcing that the output, when blurred based on the optical flow between subsequent frames, matches the input blurry image. We show that our method significantly improves the performance of existing methods on several datasets both visually and in terms of image quality metrics. The supplementary material is https://goo.gl/nYPjEQ

研究动机与目标

• 解决基于深度学习的视频去模糊方法中存在的图像伪影和内容不一致问题。
• 通过将物理模糊形成模型整合到学习过程中，提升去模糊结果的泛化能力和保真度。
• 在无需真实标签数据的情况下，实现对现有去模糊网络的自监督微调。
• 弥合基于物理的去模糊（保真度高但易产生伪影）与基于学习的去模糊（结果合理但内容不准确）之间的差距。

提出的方法

• 该方法采用可微分的流水线，从模糊视频帧中预测清晰帧和光流。
• 利用光流计算逐像素模糊核，将预测的清晰帧重新模糊化至原始模糊帧空间。
• 通过最小化重模糊输出与原始输入模糊帧之间的 L2 损失来训练网络，实现自监督学习。
• 该方法作为微调模块应用于现有预训练去模糊网络（如 DVD 和 DeblurGAN）之上。
• 评估了两种模糊形成模型：基于卷积的方法和基于图像变形的方法，后者速度更快且性能几乎相当。
• 该方法至少需要三帧输入，以计算前向和后向光流，从而实现准确的模糊核估计。

实验结果

研究问题

• RQ1 自监督学习框架能否提升基于深度学习的视频去模糊在保真度方面的表现并减少伪影？
• RQ2 强制实施基于物理的模糊形成模型对去模糊输出的质量和一致性有何影响？
• RQ3 在无真实标签监督的情况下，通过重模糊进行微调是否有效？
• RQ4 在模糊形成模型中使用多帧与两帧相比有何影响？
• RQ5 对单张图像进行自监督微调是否优于基于图像组的微调？

主要发现

• 在 MCD、DVD 和 ISOCHART 数据集上，Reblur2Deblur 相较基线方法将 PSNR 提升 0.9–1.2 dB，SSIM 提升 0.01–0.02。
• DeblurGAN-Reblur 在 ISOCHART 数据集上实现 PSNR 31.96 和 SSIM 0.9814，优于 DeblurGAN（PSNR: 31.89，SSIM: 0.9796）。
• 三帧模糊形成模型的性能优于两帧变体（PSNR: 25.694，SSIM: 0.880 vs. PSNR: 25.163，SSIM: 0.869）。
• 基于图像组的微调（多张图像）略优于单张图像微调，表明梯度更稳定。
• 基于图像变形的模糊模型将每批次（10 张图像）的训练时间缩短至 0.56 秒，显著提升推理效率。
• 视觉对比显示，Reblur2Deblur 能够正确恢复内容（例如数字 '3' 而非 '1'），而 DeblurGAN 会产生幻觉性细节。