[论文解读] Optical Flow Requires Multiple Strategies (but only one network)

Tal Schuster, Lior Wolf+1 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Vision and Imaging参考文献 22被引用 4

一句话总结

本文提出了一种用于光流的新型度量学习方法，通过基于位移大小动态选择负样本，并逐步增加训练难度，使单个深度网络能够动态处理小位移和大位移匹配策略。该方法通过提升在多样化运动场景下的描述符泛化能力，在 KITTI 2012 和 KITTI 2015 基准测试中实现了最先进性能。

ABSTRACT

We show that the matching problem that underlies optical flow requires multiple strategies, depending on the amount of image motion and other factors. We then study the implications of this observation on training a deep neural network for representing image patches in the context of descriptor based optical flow. We propose a metric learning method, which selects suitable negative samples based on the nature of the true match. This type of training produces a network that displays multiple strategies depending on the input and leads to state of the art results on the KITTI 2012 and KITTI 2015 optical flow benchmarks.

研究动机与目标

• 解决光流匹配中固有的异质性问题，该问题要求对小位移与大位移采用不同的策略。
• 通过考虑匹配案例的难度与性质差异，改进深度神经网络在光流任务中的描述符学习能力。
• 开发一种训练策略，使单个网络在不改变架构的前提下有效学习多种策略。
• 降低复杂真实场景中前景与背景区域的误差率，尤其针对大位移情况。
• 证明改进的描述符泛化能力可实现标准基准测试中的最先进性能，且无需额外数据或监督。

提出的方法

• 提出一种位移感知的负样本采样策略，选择与真实匹配位移距离相近的负样本，而非在真实值附近均匀采样。
• 引入一种自 paced curriculum interleaving (SPCI) 训练方案，结合基于难度与损失的样本选择策略，逐步提升训练复杂度。
• 采用改进的 PatchBatch 流水线，使用铰链损失（Hinge loss）替代 DrLIM 损失，以提升描述符学习的稳定性和性能。
• 采用课程学习方法，按位移大小和损失对训练样本进行分层，逐步引入更难的样本。
• 在整个训练过程中保留所有训练数据，通过基于距离的采样控制负样本的难度，避免样本剔除。
• 将该方法应用于现有的基于 PatchBatch 的光流框架，无需架构修改即可增强描述符学习能力。

实验结果

研究问题

• RQ1 在运动幅度多样的情况下，单个深度神经网络能否有效学习多种不同的光流匹配策略？
• RQ2 在度量学习过程中负样本的选择如何影响小位移与大位移场景下的描述符泛化能力？
• RQ3 一种结合难度与损失选择的课程式训练调度是否能提升在具有挑战性的光流基准测试中的性能？
• RQ4 改进的描述符学习能否降低真实世界场景中前景与背景区域的误差率，尤其在大位移情况下？
• RQ5 对损失和采样策略进行简单修改，能在不增加监督或数据的前提下，显著超越更复杂模型的程度如何？

主要发现

• 所提出的 SPCI 训练方法将 KITTI 2012 的 Out-Noc 误差降低至 4.65%，在现有方法中达到最先进水平。
• 在 KITTI 2015 上，该方法实现了 18.46% 的 Fl-all 误差，显著优于原始 PatchBatch（21.69%）和 CNN-HPM（19.44%）方法。
• 模型将前景异常值误差（Fl-fg）降低至 24.52%，背景误差（Fl-bg）降低至 17.25%，表明在场景各区域均具备更强的泛化能力。
• 在 MPI-Sintel 基准测试中，该模型实现了第二大误差位移比例（SPCI 为 40.07%），优于原始 PatchBatch（45.86%），尽管在 EPE 上未居第一。
• 该方法在保持小位移误差较低（s0-10: 0.88）的同时，显著降低了大位移误差（s40+: 40.07%），展示了在不同运动尺度下的均衡性能。
• 改进的描述符学习使模型在不改变架构的前提下，实现了在多样化运动场景下的泛化能力，验证了所提训练策略的有效性。