[论文解读] Deep Semantic Matching for Optical Flow.

Min Bai, Wenjie Luo+2 more|arXiv (Cornell University)|Apr 6, 2016

Advanced Vision and Imaging参考文献 27被引用 3

一句话总结

该论文提出了一种利用实例级分割和对极几何约束来建模交通参与者刚性运动的单目光学流估计深度学习方法。该方法引入了一种新型卷积神经网络，实现语义匹配并估计不确定性，在KITTI 2015基准测试中达到最先进性能。

ABSTRACT

We tackle the problem of estimating optical flow from a monocular camera in the context of autonomous driving. We build on the observation that the scene is typically composed of a static background, as well as a relatively small number of traffic participants which move rigidly in 3D. We propose to estimate the traffic participants using instance-level segmentation. For each traffic participant, we use the epipolar constraints that govern each independent motion for faster and more accurate estimation. Our second contribution is a new convolutional net that learns to perform flow matching, and is able to estimate the uncertainty of its matches. This is a core element of our flow estimation pipeline. We demonstrate the effectiveness of our approach in the challenging KITTI 2015 flow benchmark, and show that our approach outperforms published approaches by a large margin.

研究动机与目标

• 通过将交通参与者建模为刚性运动实体，提升单目自动驾驶场景中的光学流估计性能。
• 通过利用每个运动物体实例特有的对极几何约束，降低估计误差。
• 开发一种深度神经网络，学习在帧间进行特征匹配的同时预测匹配的不确定性。
• 通过实例级分割和运动一致性，提升光学流的准确性和鲁棒性。

提出的方法

• 该方法使用实例级分割将运动中的交通参与者与静态背景分离。
• 对每个分割出的物体，应用对极约束以在运动估计中保持几何一致性。
• 训练一种新型卷积神经网络，实现帧间语义特征匹配并预测不确定性。
• 将网络集成到光学流估计流程中，结合实例运动模型与学习到的匹配置信度。
• 该方法利用场景结构——静态背景与刚性运动物体——以提升光学流估计的准确性。
• 不确定性感知的匹配机制可过滤低置信度对应点，从而提高鲁棒性。

实验结果

研究问题

• RQ1 实例级分割能否提升自动驾驶场景中的光学流估计性能？
• RQ2 如何有效将对极约束与深度学习结合用于运动估计？
• RQ3 深度神经网络能否同时学习语义匹配并估计对应点的不确定性？
• RQ4 不确定性预测是否能提升复杂驾驶场景中光学流的准确性和鲁棒性？
• RQ5 结合几何约束与学习特征的混合方法是否能超越端到端光学流网络？

主要发现

• 所提方法在KITTI 2015光学流基准测试中达到最先进性能。
• 使用实例级分割显著提升了对运动车辆和行人的光学流估计准确性。
• 引入对极约束使光学流场具有更高的几何一致性。
• 不确定性估计模块能有效识别并抑制低置信度匹配。
• 该模型显著优于已发表的其他方法，在真实驾驶序列中展现出更优的泛化能力。