[论文解读] Full Flow: Optical Flow Estimation By Global Optimization over Regular Grids

Qifeng Chen, Vladlen Koltun|arXiv (Cornell University)|Apr 12, 2016

Advanced Vision and Imaging参考文献 3被引用 19

一句话总结

本文提出 Full Flow，一种用于光流估计的全局优化方法，通过在完整规则网格上直接最小化经典的 Horn-Schunck 类目标函数，无需特征描述符匹配。通过利用网格的规则结构，该方法仅在单分辨率下进行一次全局优化，就在 Sintel 和 KITTI 2015 基准测试中实现了最先进性能。

ABSTRACT

We present a global optimization approach to optical flow estimation. The approach optimizes a classical optical flow objective over the full space of mappings between discrete grids. No descriptor matching is used. The highly regular structure of the space of mappings enables optimizations that reduce the computational complexity of the algorithm's inner loop from quadratic to linear and support efficient matching of tens of thousands of nodes to tens of thousands of displacements. We show that one-shot global optimization of a classical Horn-Schunck-type objective over regular grids at a single resolution is sufficient to initialize continuous interpolation and achieve state-of-the-art performance on challenging modern benchmarks.

研究动机与目标

• 解决局部优化在光流估计中的局限性，后者常陷入局部极小值。
• 消除对独立特征描述符匹配模块的需求，这些模块未与光流目标函数联合优化。
• 证明在规则网格上对完整映射空间进行全局优化在计算上是可行且有效的。
• 表明一种极简方法——对经典 Horn-Schunck 目标函数进行全局优化——可实现最先进精度。
• 提供一种简单、可泛化的光流框架，支持各种数据项和正则化项。

提出的方法

• 将光流估计建模为像素对应关系密集 2D 网格上的马尔可夫随机场（MRF）。
• 使用全局离散优化方法最小化经典 Horn-Schunck 目标函数：$ E(f) = E_{\text{data}}(f) + \lambda E_{\text{reg}}(f) $。
• 利用网格的规则结构，通过最小卷积算法加速消息传递，将内层循环复杂度从二次方降低至线性。
• 采用基于图像块的截断归一化互相关（NCC）数据项，以增强对大位移和强度变化的鲁棒性。
• 使用 $ L^1 $-范数正则化惩罚以提升鲁棒性，尤其在存在异常值时表现更优。
• 对全局优化后的离散光流应用连续插值（如 Revaud 等人方法），以获得最终高精度输出。

实验结果

研究问题

• RQ1 在完整规则网格上对经典 Horn-Schunck 目标函数进行全局优化，能否实现最先进光流精度？
• RQ2 若消除特征描述符匹配并仅依赖光流目标函数的全局优化，性能是否优于当前方法？
• RQ3 能否利用网格的规则结构，使大规模光流的全局优化在计算上可行？
• RQ4 在全局优化框架中，不同数据项和正则化函数如何影响性能？
• RQ5 在单分辨率下进行一次全局优化是否足以在无需多尺度优化的情况下实现高精度？

主要发现

• 在 Sintel 和 KITTI 2015 基准测试中，对完整规则网格上经典 Horn-Schunck 目标函数进行全局优化，实现了最先进性能。
• 基于图像块的截断 NCC 数据项显著优于像素级 Horn-Schunck 数据项，与基线相比将平均端点误差（EPE）降低超过 10%。
• $ L^1 $-范数正则化惩罚表现最佳，Sintel 基准测试中平均 EPE 低至 5.847。
• 在保留经典二次正则化项的同时，将像素级数据项替换为基于图像块的 NCC 项，可达到最先进变体 90% 的精度。
• 该方法在所有测试图像中均表现出高精度，基于图像块的 NCC 项在具有挑战性的场景中展现出更优的鲁棒性。
• 由于采用最小卷积加速，该方法计算效率极高，可在数万个节点上以线性复杂度实现全局优化。