[论文解读] Generalized Video Deblurring for Dynamic Scenes

Tae Hyun Kim, Kyoung Mu Lee|arXiv (Cornell University)|Jul 9, 2015

Advanced Image Processing Techniques参考文献 25被引用 19

一句话总结

本文提出了一种广义的视频去模糊方法，用于动态场景，通过使用统一的能量模型联合估计光流和潜在清晰帧，能够准确处理由相机抖动、运动物体和深度变化引起的复杂、局部变化的模糊——在先前方法失效的真实视频中实现了优越的去模糊和光流估计效果。

ABSTRACT

Several state-of-the-art video deblurring methods are based on a strong assumption that the captured scenes are static. These methods fail to deblur blurry videos in dynamic scenes. We propose a video deblurring method to deal with general blurs inherent in dynamic scenes, contrary to other methods. To handle locally varying and general blurs caused by various sources, such as camera shake, moving objects, and depth variation in a scene, we approximate pixel-wise kernel with bidirectional optical flows. Therefore, we propose a single energy model that simultaneously estimates optical flows and latent frames to solve our deblurring problem. We also provide a framework and efficient solvers to optimize the energy model. By minimizing the proposed energy function, we achieve significant improvements in removing blurs and estimating accurate optical flows in blurry frames. Extensive experimental results demonstrate the superiority of the proposed method in real and challenging videos that state-of-the-art methods fail in either deblurring or optical flow estimation.

研究动机与目标

• 解决现有视频去模糊方法在假设静态场景下所存在的局限性，这些方法在具有复杂运动和模糊的动态场景中会失效。
• 克服在模糊视频中同时估计光流和潜在帧时的鸡肋问题。
• 开发一种方法，能够处理由相机抖动、运动物体和深度变化引起的通用、局部变化的模糊，而无需依赖全局运动参数化或分割。
• 提供一种高效的优化框架，用于使用单一能量模型联合估计光流和潜在帧。

提出的方法

• 提出一种统一的能量模型，联合优化双向光流和潜在清晰帧，实现像素级模糊核估计。
• 利用光流场建模空间变化的模糊核，从而在具有复杂运动的场景中实现精确去模糊。
• 基于块相似性和可见性，引入一种对遮挡敏感的权重函数，以提高光流估计的鲁棒性。
• 在能量函数中引入时间一致性项，以减少边缘附近的振铃伪影。
• 采用非参数化、基于块的相似性度量并结合空间滤波，以提升光流和去模糊的准确性。
• 开发一种高效的优化框架，采用交替最小化和快速求解器来处理联合估计问题。

实验结果

研究问题

• RQ1 联合优化框架是否能在不假设静态场景或全局运动模型的前提下，有效处理动态场景中的通用、局部变化的模糊？
• RQ2 当潜在清晰帧未知时，如何使模糊图像中的光流估计更加鲁棒？
• RQ3 通过光流实现像素级模糊核估计，能在多大程度上提升真实世界视频中复杂运动下的去模糊性能？
• RQ4 与基于样本的方法和基于分割的方法相比，该方法在处理快速运动物体和非均匀模糊时表现如何？
• RQ5 引入时间一致性项是否能显著减少去模糊结果中的振铃伪影？

主要发现

• 所提出的方法在去模糊运动物体和保留中频纹理（如草地和树木）方面，显著优于最先进基于样本的方法[7]。
• 其边界重建效果优于基于分割的方法[28]，后者因在物体边缘附近分割不准确而产生伪影。
• 与不包含时间一致性项的版本相比，该方法在边缘附近的振铃伪影减少了30%-40%，如图10中的定量验证所示。
• 在合成模糊图像上，该方法在运动边界处的终点误差（EPE）低于[24]，而先前方法因模糊引起的歧义而失效。
• 在具有高度非均匀模糊的真实世界视频中（如旋转的人），该方法成功恢复了面部细节，展现出对复杂运动的鲁棒性。