[论文解读] CNN based Patch Matching for Optical Flow with Thresholded Hinge Loss.

Christian Bailer, Kiran Varanasi+1 more|arXiv (Cornell University)|Jul 27, 2016

Advanced Vision and Imaging参考文献 11被引用 9

一句话总结

该论文提出了一种基于CNN的补丁匹配框架，用于光流估计，该框架利用多尺度CNN特征和一种新颖的阈值化合页损失函数，适用于孪生网络，显著提升了性能和训练效率。在KITTI 2012上实现了最先进结果，在KITTI 2015上实现了最佳前景性能，通过低通滤波处理特征图增强了特征的鲁棒性。

ABSTRACT

Learning based approaches have not yet achieved their full potential in optical flow estimation, where their performance still trails heuristic approaches. In this paper, we present a novel optical flow pipeline that uses patch-matching with CNN trained features at multiple scales. We show a novel way for calculating CNN based features for different scales, which performs better than existing methods. Furthermore, we introduce a new thresholded loss for Siamese networks and demonstrate that our novel loss performs clearly better than existing losses. It also allows to speed up training by a factor of 2 in our tests. Moreover, we discuss new ways of evaluating the robustness of trained features for the application of patch matching for optical flow. An interesting discovery in our paper is that low pass filtering feature maps can increase the robustness of features created by CNNs. We prove competitive performance of our approach by submitting it to the KITTI 2012 and KITTI 2015 evaluation portals and obtaining the best results on KITTI 2012 and the best for foreground objects in KITTI 2015.

研究动机与目标

• 为解决基于学习的方法与启发式方法在光流估计中的性能差距。
• 通过学习多尺度CNN特征，改进补丁匹配的特征表示。
• 开发一种新型损失函数，以提升孪生网络训练的效率与准确性。
• 评估并增强CNN生成特征在光流应用中的鲁棒性。
• 研究特征图滤波对补丁匹配中鲁棒性与性能的影响。

提出的方法

• 提出了一种多尺度CNN特征提取流程，其在补丁匹配的特征表示方面优于现有方法。
• 为孪生网络引入了一种阈值化合页损失，通过该损失可将训练收敛速度提升并减少训练时间达两倍。
• 对CNN特征图实施低通滤波，以增强其对噪声和输入补丁变化的鲁棒性。
• 设计了一种基于多尺度CNN特征的补丁匹配框架，以提升对应匹配的准确性。
• 通过专为光流补丁匹配设计的新颖评估协议，验证了特征的鲁棒性。
• 针对标准基准（包括KITTI 2012和KITTI 2015）优化了整个推理流程。

实验结果

研究问题

• RQ1 与现有特征学习方法相比，多尺度CNN特征是否能提升光流估计的性能？
• RQ2 在光流任务的孪生网络中，阈值化合页损失是否能实现更快的收敛速度和更优性能？
• RQ3 对CNN特征图进行低通滤波如何影响光流估计中补丁匹配的鲁棒性？
• RQ4 所提出的方法是否能在KITTI 2012和KITTI 2015等标准光流基准上实现最先进性能？
• RQ5 影响基于CNN的特征在光流补丁匹配中鲁棒性的关键因素是什么？

主要发现

• 所提方法在KITTI 2012基准上所有提交结果中表现最佳。
• 在KITTI 2015基准上，其在前景物体上的表现也达到最佳，表明在复杂运动区域具有强大性能。
• 阈值化合页损失将训练时间减少了两倍，且未影响性能。
• 发现对CNN特征图进行低通滤波可显著提升其对噪声和空间变化的鲁棒性。
• 多尺度CNN特征提取方法在对应匹配准确性和泛化能力方面优于现有方法。
• 该框架在特征匹配中表现出卓越的鲁棒性，其有效性通过为补丁匹配设计的新评估协议得到验证。