[论文解读] EpicFlow: Edge-Preserving Interpolation of Correspondences for Optical Flow

Jérôme Revaud, Philippe Weinzaepfel+2 more|arXiv (Cornell University)|Jan 12, 2015

Advanced Vision and Imaging参考文献 21被引用 59

一句话总结

EpicFlow 提出了一种新颖的光流估计方法，通过使用边缘感知的测地距离对稀疏匹配进行边缘保持插值，以处理大位移、遮挡和运动边界。通过使用插值得到的稠密对应关系初始化单层变分能量最小化，该方法在 MPI-Sintel 上实现了最先进性能，在 Kitti 和 Middlebury 上也取得了具有竞争力的结果，且在单个 CPU 核心上每对图像的运行时间仅为 16.4 秒。

ABSTRACT

We propose a novel approach for optical flow estimation , targeted at large displacements with significant oc-clusions. It consists of two steps: i) dense matching by edge-preserving interpolation from a sparse set of matches; ii) variational energy minimization initialized with the dense matches. The sparse-to-dense interpolation relies on an appropriate choice of the distance, namely an edge-aware geodesic distance. This distance is tailored to handle occlusions and motion boundaries -- two common and difficult issues for optical flow computation. We also propose an approximation scheme for the geodesic distance to allow fast computation without loss of performance. Subsequent to the dense interpolation step, standard one-level variational energy minimization is carried out on the dense matches to obtain the final flow estimation. The proposed approach, called Edge-Preserving Interpolation of Correspondences (EpicFlow) is fast and robust to large displacements. It significantly outperforms the state of the art on MPI-Sintel and performs on par on Kitti and Middlebury.

研究动机与目标

• 为解决粗到细变分光流方法在存在大位移和运动不连续性时出现的误差传播和局部极小值问题。
• 通过利用稀疏匹配和轮廓线索，改进稠密光流估计，利用运动边界通常与图像边缘对齐的事实。
• 开发一种快速、准确且鲁棒的插值方案，以保持边缘并处理遮挡，而无需依赖多尺度优化。
• 证明使用边缘保持插值匹配初始化的单层变分最小化优于传统的粗到细方法。
• 通过减少计算开销，在保持或提升准确性的前提下，为粗到细方案提供一种高效替代方案。

提出的方法

• 该方法从使用鲁棒匹配算法（如 DeepMatching）计算的稀疏特征匹配集开始，该算法对大位移和遮挡具有鲁棒性。
• 提出一种边缘感知的测地距离度量，优先选择沿图像轮廓的路径，确保在插值过程中保持运动不连续性。
• 通过使用局部仿射模型对稀疏匹配进行插值，生成稠密对应场，其中测地距离取代标准欧氏距离，以实现边缘一致性。
• 提出一种高效的近似方案，仅使用每个匹配的一个仿射模型来计算测地距离，显著加速插值步骤，同时不损失准确性。
• 使用插值得到的稠密对应场初始化单层变分能量最小化，通过标准光流优化方法精炼光流场。
• 使用 SED 方法提取图像边缘，以指导测地距离计算，增强边界保持能力。

实验结果

研究问题

• RQ1 使用边缘感知距离度量对稀疏匹配进行稀疏到稠密插值，是否能改善在大位移和遮挡情况下的光流估计？
• RQ2 用边缘感知的测地距离替代标准欧氏距离，是否能更好地在插值光流场中保持运动边界？
• RQ3 使用边缘保持插值匹配初始化的单层变分最小化，是否能在准确性和鲁棒性上优于多尺度粗到细方法？
• RQ4 是否可以通过近似方案加速测地距离计算而不降低性能？
• RQ5 所提出方法在 MPI-Sintel、Kitti 和 Middlebury 等基准数据集上与最先进光流方法相比表现如何？

主要发现

• EpicFlow 在 MPI-Sintel 测试集上表现最佳，非遮挡区域的平均端点误差（AEE）为 1.135，遮挡区域为 3.727，优于表 4 中列出的所有先前方法。
• 在 Kitti 数据集上，EpicFlow 在非遮挡区域的 AEE 为 1.5，在整体上为 3.8，优于 TF+OFM 和 DeepFlow，且与 NLTGV-SC 性能相当，但速度更快。
• 该方法在单个 CPU 核心上每对图像（1024×436）的运行时间为 16.4 秒，其中 91% 的时间用于匹配，表明尽管存在稠密插值步骤，仍具有很高的效率。
• 该方法在 Middlebury 数据集上的 AEE 低于 0.4 像素，即使在不存在大位移的情况下也表现出色。
• 失败案例主要源于细结构（如龙的长矛和角）上匹配缺失或轮廓检测不佳，导致光流向背景泄漏。
• 测地距离的近似方法实现了快速计算且性能无损失，使插值步骤在实际应用中高效且实用。