[论文解读] Dynamic Scene Deblurring using a Locally Adaptive Linear Blur Model

Tae Hyun Kim, Seungjun Nah+1 more|arXiv (Cornell University)|Mar 14, 2016

Advanced Image Processing Techniques参考文献 36被引用 16

一句话总结

本文提出一种动态场景去模糊方法，通过联合估计双向光流、散焦模糊图和潜在清晰帧，利用局部自适应线性模糊模型处理由运动、相机抖动、深度变化和散焦引起的非均匀模糊。通过构建高效的统一能量最小化框架与求解器，该方法在新提出的基准数据集上实现了优于最先进方法的去模糊与光流估计性能，在定性和定量评估中均表现优异。

ABSTRACT

State-of-the-art video deblurring methods cannot handle blurry videos recorded in dynamic scenes, since they are built under a strong assumption that the captured scenes are static. Contrary to the existing methods, we propose a video deblurring algorithm that can deal with general blurs inherent in dynamic scenes. To handle general and locally varying blurs caused by various sources, such as moving objects, camera shake, depth variation, and defocus, we estimate pixel-wise non-uniform blur kernels. We infer bidirectional optical flows to handle motion blurs, and also estimate Gaussian blur maps to remove optical blur from defocus in our new blur model. Therefore, we propose a single energy model that jointly estimates optical flows, defocus blur maps and latent frames. We also provide a framework and efficient solvers to minimize the proposed energy model. By optimizing the energy model, we achieve significant improvements in removing general blurs, estimating optical flows, and extending depth-of-field in blurry frames. Moreover, in this work, to evaluate the performance of non-uniform deblurring methods objectively, we have constructed a new realistic dataset with ground truths. In addition, extensive experimental on publicly available challenging video data demonstrate that the proposed method produces qualitatively superior performance than the state-of-the-art methods which often fail in either deblurring or optical flow estimation.

研究动机与目标

• 解决现有视频去模糊方法假设静态场景、在包含复杂非均匀模糊的动态场景中失效的局限性。
• 开发一种统一模型，联合估计光流、散焦模糊图与潜在清晰帧，以同时处理运动模糊与散焦模糊。
• 构建一个真实、公开可用的基准数据集，包含真实标签，用于非均匀去模糊方法的客观评估。
• 提升运动边界处的光流估计精度，解决以往方法因模糊假设不一致而失效的问题。
• 通过在能量模型中引入时间一致性项，减少振铃伪影并保持边缘清晰。

提出的方法

• 该方法将模糊建模为像素级运动模糊（通过双向光流）与散焦模糊（通过高斯模糊图）的组合，实现对复杂模糊模式的局部自适应。
• 提出一个统一的能量函数，联合优化潜在帧、光流与散焦模糊图，包含数据保真度、平滑性与时间一致性项。
• 能量函数中引入时间一致性项，以在帧间保持一致性，减少边缘附近的振铃伪影。
• 开发了一种基于交替方向乘子法（ADMM）的高效优化框架，用于求解大规模、非凸的优化问题。
• 采用双向光流估计来建模运动模糊核，实现对复杂非均匀物体运动的精确表示。
• 散焦模糊图被估计为空间可变的高斯核，以捕捉场景中由深度引起的模糊变化。

实验结果

研究问题

• RQ1 统一模型能否联合估计光流、散焦模糊图与潜在帧，以有效处理动态场景中的非均匀模糊？
• RQ2 所提出的局部自适应模糊模型相较于均匀或参数化模糊模型，在处理复杂运动与散焦模糊时表现如何？
• RQ3 时间一致性项的引入在多大程度上提升了边缘保持效果并减少了去模糊结果中的振铃伪影？
• RQ4 与最先进的人工样本法[18]和基于分割的方法[15]相比，该方法在具有大范围物体运动与相机抖动的真实动态视频上的表现如何？
• RQ5 包含真实标签的新基准数据集能否实现对非均匀去模糊算法更可靠、更客观的评估？

主要发现

• 所提方法在真实动态视频上去模糊性能显著优越，尤其在恢复快速运动物体与复杂运动边界方面，优于以往方法。
• 该方法在运动边界处显著提升了光流估计精度，优于[30]，后者因模糊假设不一致而失效。
• 时间一致性项的引入有效减少了振铃伪影并增强了边缘锐度，定量对比显示其有效性。
• 在新构建的基准数据集上，该方法在多种模糊类型（包括运动模糊、散焦模糊及其组合）下均表现出鲁棒性能。
• 在去模糊运动物体与保留中频纹理（如草地、树木）方面，优于基于样本的[18]与基于分割的[15]最先进方法。
• 该方法成功恢复了具有旋转运动的视频中高度非均匀模糊的人脸，展示了其在复杂模糊模式下的处理能力。