[论文解读] Learning to Extract a Video Sequence from a Single Motion-Blurred Image

Meiguang Jin, Givi Meishvili+1 more|arXiv (Cornell University)|Apr 11, 2018

Advanced Image Processing Techniques参考文献 35被引用 13

一句话总结

本文提出一种深度学习方法，从单张运动模糊图像重建一系列清晰的视频帧，解决了病态去模糊和时间顺序丢失的双重挑战。通过使用基于帧对的顺序无关损失函数，以及结合教师强制的序列重建策略，该模型成功从合成和真实世界模糊图像中恢复出时间上一致、高质量的帧。

ABSTRACT

We present a method to extract a video sequence from a single motion-blurred image. Motion-blurred images are the result of an averaging process, where instant frames are accumulated over time during the exposure of the sensor. Unfortunately, reversing this process is nontrivial. Firstly, averaging destroys the temporal ordering of the frames. Secondly, the recovery of a single frame is a blind deconvolution task, which is highly ill-posed. We present a deep learning scheme that gradually reconstructs a temporal ordering by sequentially extracting pairs of frames. Our main contribution is to introduce loss functions invariant to the temporal order. This lets a neural network choose during training what frame to output among the possible combinations. We also address the ill-posedness of deblurring by designing a network with a large receptive field and implemented via resampling to achieve a higher computational efficiency. Our proposed method can successfully retrieve sharp image sequences from a single motion blurred image and can generalize well on synthetic and real datasets captured with different cameras.

研究动机与目标

• 解决从单张运动模糊图像中恢复一系列清晰视频帧的挑战，其中由于曝光期间的图像平均导致时间顺序丢失。
• 通过利用感受野较大的深度学习模型和高效的重采样方法，克服盲去模糊问题的病态性。
• 通过设计对帧顺序不敏感的损失函数，解决帧重建中的时间模糊性，使神经网络能够学习灵活的时间顺序。
• 在不同真实世界相机和模糊类型上实现泛化，确保模型在超越合成训练数据的鲁棒性。

提出的方法

• 该方法采用序列成对重建策略，帧按顺序预测，从中间帧开始，以减少误差传播。
• 提出一种新型损失函数，通过使用帧对的平均值和绝对差值作为目标，实现对时间顺序的不变性。
• 网络通过重采样层实现大感受野，而非使用大卷积核滤波器，从而提高计算效率并减少内存占用。
• 应用对抗性训练以增强重建帧的真实感和清晰度。
• 训练期间使用教师强制策略，将真实中间帧输入网络，以稳定并加速后续帧预测的训练。
• 模型为中间帧和对称帧对（如帧1和帧7、帧2和帧6）使用独立网络，对称帧对之间共享参数，以提升可扩展性。

实验结果

研究问题

• RQ1 尽管时间顺序丢失，深度神经网络能否有效从单张运动模糊图像中重建出一系列清晰帧？
• RQ2 如何设计对帧顺序不敏感的损失函数，使网络能够学习多种有效的时间序列？
• RQ3 与独立或全局重建相比，采用教师强制的序列重建策略是否能提升帧预测的质量和稳定性？
• RQ4 该模型在训练所用相机之外的不同真实世界相机拍摄的图像上，泛化能力如何？

主要发现

• 所提方法能从单张运动模糊图像中成功重建出7帧清晰且时间上一致的帧，视觉质量显著优于基线方法。
• 使用顺序无关损失函数使网络能够学习多种有效帧序列，避免了固定顺序训练的缺陷。
• 教师强制策略带来更快收敛和更优视觉结果，尤其在距离中间帧较远的帧上表现更佳。
• 模型在训练集外不同相机拍摄的真实世界图像上泛化良好，展现出对不同模糊特性的鲁棒性。
• 中间帧预测失败将导致其他帧重建失败，凸显了准确中间帧估计的关键作用。
• 与独立或全局重建方法相比，序列成对重建方案能有效减少伪影，尤其是在时间序列两端。