[论文解读] LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation

Tak-Wai Hui, Chen Change Loy|arXiv (Cornell University)|Jul 18, 2020

Advanced Vision and Imaging参考文献 30被引用 4

一句话总结

LiteFlowNet3 通过引入两个新颖模块改进了光流估计：成本体积调制模块利用置信度图引导的自适应仿射变换，校正充满异常值的成本体积；流场变形模块通过位移场用一致的邻近光流替换不准确的光流。该方法在 Sintel 和 KITTI 基准测试中实现了最先进精度，同时保持了较小的模型尺寸（比 HD3 小 7.7 倍）和更快的推理速度（快 2.2 倍）。

ABSTRACT

Deep learning approaches have achieved great success in addressing the problem of optical flow estimation. The keys to success lie in the use of cost volume and coarse-to-fine flow inference. However, the matching problem becomes ill-posed when partially occluded or homogeneous regions exist in images. This causes a cost volume to contain outliers and affects the flow decoding from it. Besides, the coarse-to-fine flow inference demands an accurate flow initialization. Ambiguous correspondence yields erroneous flow fields and affects the flow inferences in subsequent levels. In this paper, we introduce LiteFlowNet3, a deep network consisting of two specialized modules, to address the above challenges. (1) We ameliorate the issue of outliers in the cost volume by amending each cost vector through an adaptive modulation prior to the flow decoding. (2) We further improve the flow accuracy by exploring local flow consistency. To this end, each inaccurate optical flow is replaced with an accurate one from a nearby position through a novel warping of the flow field. LiteFlowNet3 not only achieves promising results on public benchmarks but also has a small model size and a fast runtime.

研究动机与目标

• 解决因遮挡和图像区域同质性导致的光流估计对应模糊问题。
• 降低成本体积中异常值对光流解码精度的负面影响。
• 通过利用局部光流一致性，在粗到细推理过程中纠正错误光流，提升光流精度。
• 在保持公共基准测试高性能的同时，最小化模型尺寸和推理时间。
• 开发一种轻量化、高效的网络，避免 HD3 等大型模型常见的伪影。

提出的方法

• 使用置信度图识别不可靠光流区域，对成本体积中的每个成本向量应用自适应仿射变换。
• 利用置信度图引导调制参数的生成，确保仅对高不确定性区域进行校正。
• 引入一种新颖的元变形机制，通过用特征相似的邻近位置更准确的光流替换每个光流，实现光流场的变形。
• 通过自相关成本体积计算位移场，以指导元变形，并使用相同的置信度图进行错误定位。
• 将成本体积调制与流场变形整合到粗到细框架中，迭代优化光流预测。
• 在 FlyingChairs 上端到端训练模型，并在 Sintel 和 KITTI 上进行微调以达到基准性能。

实验结果

研究问题

• RQ1 在深度光流网络中，如何有效缓解由特征匹配模糊性导致的成本体积异常值？
• RQ2 在病态对应区域中，局部光流一致性在多大程度上能提升光流估计精度？
• RQ3 置信度图能否提升成本体积调制与流场变形的精度？
• RQ4 与 HD3 和 PWC-Net 等最先进方法相比，所提方法在精度、模型尺寸和推理速度方面表现如何？
• RQ5 两个模块的集成是否在多样化数据集上带来协同增益，实现光流估计性能的综合提升？

主要发现

• 在 Sintel Final（训练集）上，LiteFlowNet3 实现 3.91% 的 AEE，优于 PWC-Net+（4.02%）和 IRR-PWC（4.09%），且模型尺寸仅为 HD3 的 1/7.7。
• 在 KITTI 2015 上，LiteFlowNet3 实现 10.40% 的 AEE，优于 HD3（10.65%）和 SelFlow（10.70%），尽管仅使用双帧训练。
• 消融实验表明，结合成本体积调制与流场变形（CMFD）的性能最佳，相比仅使用 CM 的方法，AEE 在 KITTI 2015 上降低 0.25%。
• 置信度图显著提升两个模块的性能：禁用置信度图后，Sintel Final 的 AEE 上升 0.07，KITTI 2015 的 AEE 也上升 0.07，表明其在错误定位中的关键作用。
• 可视化结果表明，CMFD 有效消除了 Sintel 上的绿色伪影，并填补了 KITTI 中复杂结构（如挡风玻璃和标志牌）附近的缺失光流。
• LiteFlowNet3 的推理速度比 IRR-PWC（180ms）快 2.2 倍，且参数量仅为 HD3（39.9M 参数）的 1/7.7，同时在所有基准测试中保持了更优的精度。