[论文解读] Learning Motion Patterns in Videos

Pavel Tokmakov, Karteek Alahari+1 more|arXiv (Cornell University)|Dec 21, 2016

Advanced Vision and Imaging参考文献 37被引用 4

一句话总结

该论文提出MP-Net，一种全卷积网络，通过从合成视频数据中学习运动模式，以区分物体运动与相机运动，在移动物体分割任务中达到最先进性能。通过结合光流、物体性图以及CRF优化，其在DAVIS基准上的平均IoU相比之前方法提升5.6%，即使仅使用帧级输入亦可实现。

ABSTRACT

The problem of determining whether an object is in motion, irrespective of camera motion, is far from being solved. We address this challenging task by learning motion patterns in videos. The core of our approach is a fully convolutional network, which is learned entirely from synthetic video sequences, and their ground-truth optical flow and motion segmentation. This encoder-decoder style architecture first learns a coarse representation of the optical flow field features, and then refines it iteratively to produce motion labels at the original high-resolution. We further improve this labeling with an objectness map and a conditional random field, to account for errors in optical flow, and also to focus on moving "things" rather than "stuff". The output label of each pixel denotes whether it has undergone independent motion, i.e., irrespective of camera motion. We demonstrate the benefits of this learning framework on the moving object segmentation task, where the goal is to segment all objects in motion. Our approach outperforms the top method on the recently released DAVIS benchmark dataset, comprising real-world sequences, by 5.6%. We also evaluate on the Berkeley motion segmentation database, achieving state-of-the-art results.

研究动机与目标

• 为解决长期存在的在视频中区分独立物体运动与相机运动的挑战。
• 开发一种基于学习的框架，可自动识别移动物体，而无需考虑相机运动。
• 通过结合运动模式学习、物体性图与CRF优化，提升移动物体分割性能。
• 在不依赖视频级时间传播的情况下，实现在真实世界视频数据集上的最先进性能。
• 在具有复杂运动模式的多样化真实世界序列中展示泛化能力。

提出的方法

• 在FlyingThings3D生成的合成视频序列上端到端训练全卷积编码器-解码器网络（MP-Net），输入为真实光流场与运动分割标注。
• 将光流场作为MP-Net的输入，其输出为每个像素的独立运动得分。
• 利用物体性图对MP-Net的预测结果进行优化，以增强显著移动物体的响应，抑制水、烟雾等‘杂物’类区域。
• 应用条件随机场（CRF）以强制实现空间一致性，并修正运动标注中的局部错误。
• 仅使用两帧光流输入，避免复杂的视频级推理或跟踪机制。
• 将MP-Net的预测结果集成至现有视频分割框架（如FST [27]）中，以进一步提升性能。

实验结果

研究问题

• RQ1 在合成数据上训练的深度学习模型能否泛化至真实世界视频运动分割任务？
• RQ2 仅使用光流信息，全卷积网络在多大程度上能有效学习分离物体运动与相机运动？
• RQ3 在光流存在误差的情况下，物体性图与CRF优化在多大程度上提升了运动标注的准确性？
• RQ4 在无时间传播的情况下，帧级方法能否超越视频级方法在移动物体分割任务中的表现？
• RQ5 在涉及慢速移动或小型物体的模糊或复杂运动场景中，该模型表现如何？

主要发现

• MP-Net在DAVIS基准上的平均交并比（IoU）达到72.1%，相比最先进方法提升5.6%。
• 在DAVIS数据集上，F-measure相比最佳先前方法（NLC）提升7%，达到85.3%的平均F-measure。
• 当集成至FST [27]框架时，MP-Net在BMS-26数据集上性能提升14%，达到与PCM [3]相当的水平。
• 在FBMS测试集上，MP+Obj+FST联合方法取得77.5%的F-measure，优于FST（69.2）、CVOS（74.9）和CUT（76.8）。
• 定性结果表明，与FST和NLC相比，MP-Net在边界精度方面表现更优，且在水体运动和小物体区域的背景泄漏更少。
• 该方法对光流误差具有鲁棒性，即使相机运动与物体运动相似，也能通过学习到的运动模式区分能力有效分割物体。