[论文解读] A Variational Model for Joint Motion Estimation and Image Reconstruction

Martin Burger, Hendrik Dirks+1 more|arXiv (Cornell University)|Jul 12, 2016

Advanced Vision and Imaging参考文献 23被引用 3

一句话总结

本文提出了一种变分模型，基于亮度恒定方程的时连续欧拉框架，联合重建图像序列并估计运动场。该模型严格证明了极小化解的存在性，并通过数值实验表明，与顺序方法相比，联合方法在低分辨率和噪声环境下能显著提升重建和运动估计的准确性。

ABSTRACT

The aim of this paper is to derive and analyze a variational model for the joint estimation of motion and reconstruction of image sequences, which is based on a time-continuous Eulerian motion model. The model can be set up in terms of the continuity equation or the brightness constancy equation. The analysis in this paper focuses on the latter for robust motion estimation on sequences of two-dimensional images. We rigorously prove the existence of a minimizer in a suitable function space setting. Moreover, we discuss the numerical solution of the model based on primal-dual algorithms and investigate several examples. Finally, the benefits of our model compared to existing techniques, such as sequential image reconstruction and motion estimation, are shown.

研究动机与目标

• 开发一种统一的变分框架，能够从噪声大、分辨率低的数据中同时重建图像序列并估计运动场。
• 克服顺序方法将重建与运动估计分开处理所导致的性能下降问题，避免误差传播的影响。
• 通过图像重建与运动估计之间的相互正则化，提升两项任务的准确性。
• 通过在合适的函数空间设定下严格证明极小化解的存在性，建立坚实的数学基础。

提出的方法

• 该模型通过最小化一个泛函实现，该泛函结合了数据保真项 (Ku - f)²、用于图像重建的总变差正则化项 R(u)，以及用于运动场的总变差正则化项 S(v)，并满足光学流约束 M(u,v) = 0。
• 光学流约束通过亮度恒定方程构建：ut + ∇u·v = 0，以确保帧间图像强度的时间一致性。
• 采用原始-对偶算法进行数值求解，通过在图像 u 和运动场 v 上交替最小化，结合对偶变量与投影步骤实现。
• 离散化采用前向差分计算空间与时间导数，并设置诺伊曼边界条件，同时为对偶变量定义伴随算子。
• 算法采用类似 Split-Bregman 的方案，结合自适应步长，并使用快速求解器更新运动场。
• 通过合成序列与真实序列（包括 Hamburg Taxi 序列）对框架进行验证，采用 SSIM、SNR、PSNR、AEE 和 AE 等定量指标。

实验结果

研究问题

• RQ1 基于亮度恒定方程的联合变分模型是否能优于顺序方法，在图像重建与运动估计方面取得更优性能？
• RQ2 通过共同的变分框架耦合图像重建与运动估计，是否能在噪声与低分辨率条件下提升鲁棒性？
• RQ3 所提出的联合模型在数学上是否适定？其在合适函数空间中是否存在极小化解？
• RQ4 在图像质量与运动精度方面，该联合模型相较于最先进方法的性能表现如何进行定量比较？

主要发现

• 所提出的模型在合适的函数空间设定下严格证明了极小化解的存在性，确保了变分公式的数学适定性。
• 数值实验表明，联合方法显著提升了重建质量，合成数据上 SSIM 值相比顺序方法最高提升 0.15。
• 运动估计的平均端点误差（AEE）相比顺序重建与运动估计方法降低最多达 30%，表明运动场精度得到提升。
• 该模型能有效处理低分辨率与噪声输入数据，在重建序列中有效保持细小结构并减少伪影。
• 原始-对偶算法收敛稳定且高效，使该方法可实际应用于真实图像序列（如 Hamburg Taxi 序列）。
• 通过 PSNR 与 SNR 的定量评估证实，联合模型优于顺序处理流程，在具有挑战性的测试案例中 PSNR 提升最高达 4 dB。