[论文解读] FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

Eddy Ilg, N. Michael Mayer+4 more|arXiv (Cornell University)|Dec 6, 2016

Advanced Vision and Imaging被引用 50

一句话总结

FlowNet 2.0 通过引入堆叠架构与特征扭曲、针对小位移的专用子网络以及多数据集训练策略，显著提升了光流估计性能。与 FlowNet 相比，估计误差降低超过 50%，在 Sintel 和 KITTI 基准测试中达到最先进水平，并以交互式帧率运行（8–140 fps）。

ABSTRACT

The FlowNet demonstrated that optical flow estimation can be cast as a learning problem. However, the state of the art with regard to the quality of the flow has still been defined by traditional methods. Particularly on small displacements and real-world data, FlowNet cannot compete with variational methods. In this paper, we advance the concept of end-to-end learning of optical flow and make it work really well. The large improvements in quality and speed are caused by three major contributions: first, we focus on the training data and show that the schedule of presenting data during training is very important. Second, we develop a stacked architecture that includes warping of the second image with intermediate optical flow. Third, we elaborate on small displacements by introducing a sub-network specializing on small motions. FlowNet 2.0 is only marginally slower than the original FlowNet but decreases the estimation error by more than 50%. It performs on par with state-of-the-art methods, while running at interactive frame rates. Moreover, we present faster variants that allow optical flow computation at up to 140fps with accuracy matching the original FlowNet.

研究动机与目标

• 提升深度光流估计的准确性和鲁棒性，特别是在小位移和真实世界数据上的表现。
• 解决 FlowNet 的局限性，尽管其采用端到端学习框架，但在小位移和真实世界视频上表现不佳。
• 设计一种可扩展的架构，在实时应用中实现速度与准确性的平衡。
• 为运动分割和动作识别等下游任务提供可靠的光流估计。
• 通过数据集调度和架构创新优化训练策略，超越先前基于学习的方法。

提出的方法

• 引入堆叠架构，利用中间光流预测对第二幅图像进行特征扭曲，以在多个阶段中逐步优化运动估计。
• 设计专用子网络（FlowNetS），采用更小的步长和残差连接，专注于小位移和亚像素级位移的估计。
• 实施多数据集训练策略，按特定顺序组合合成数据集（如 FlyingChairs、FlyingThings3D），以提升泛化能力。
• 在初始特征提取阶段使用相关层，以增强帧间图像块的匹配能力。
• 通过轻量级融合网络结合大位移堆叠网络与小运动子网络的预测结果，融合各自优势。
• 采用交替切换数据集的学习率调度策略，以稳定训练并提升收敛性。

实验结果

研究问题

• RQ1 端到端深度学习的光流方法是否能在真实世界数据和小位移场景下实现最先进性能？
• RQ2 训练数据集的顺序与组合方式如何影响光流网络的泛化能力和准确性？
• RQ3 通过特征扭曲实现多阶段堆叠光流网络是否能超越单阶段架构的性能？
• RQ4 为小运动专门设计的子网络是否能显著提升对精细运动细节的估计精度？
• RQ5 在实现 8–140 fps 实时推理速度的同时，精度能多大程度上得以保持？

主要发现

• 与原始 FlowNet 相比，FlowNet 2.0 将估计误差降低了超过 50%，在 Sintel 和 KITTI 基准测试中达到最先进水平。
• 该方法在真实世界数据上生成了平滑、细节丰富的光流场，边界清晰，并对运动模糊和压缩伪影具有高度鲁棒性。
• 在 Middlebury 基准测试中，FlowNet 2.0 在运动分割任务中取得 79.92% 的 F-measure，在动作识别任务中达到 79.51% 的准确率，与或超越了最先进方法。
• 最快变体运行速度达 140 fps，且精度与原始 FlowNet 相当，支持实时应用。
• 多数据集训练策略和基于扭曲的堆叠机制对性能至关重要，消融实验证实了其单独及联合影响。
• 专用的 FlowNetS 子网络显著提升了小位移场景下的性能，有效弥补了原始 FlowNet 在此方面的缺陷。