[论文解读] Anticipating the future by watching unlabeled video.

Carl Vondrick, Hamed Pirsiavash+1 more|arXiv (Cornell University)|Apr 29, 2015

Human Pose and Action Recognition参考文献 48被引用 105

一句话总结

本文提出一种自监督框架，利用未标注视频训练深度神经网络以预测未来的视觉表征，从而实现对动作和物体的前瞻预测。通过利用非结构化视频数据中的时间结构，该方法在真实世界数据集上显著提升了未来预测性能。

ABSTRACT

In many computer vision applications, machines will need to reason beyond the present, and predict the future. This task is challenging because it requires leveraging ex-tensive commonsense knowledge of the world that is diffi-cult to write down. We believe that a promising resource for efficiently obtaining this knowledge is through the mas-sive amounts of readily available unlabeled video. In this paper, we present a large scale framework that capitalizes on temporal structure in unlabeled video to learn to antic-ipate both actions and objects in the future. The key idea behind our approach is that we can train deep networks to predict the visual representation of images in the future. We experimentally validate this idea on two challenging “in the wild ” video datasets, and our results suggest that learning with unlabeled videos significantly helps forecast actions and anticipate objects. 1.

研究动机与目标

• 为解决机器在计算机视觉应用中推理未来挑战的问题。
• 通过利用海量未标注视频进行知识获取，减少对昂贵人工标注数据的依赖。
• 开发一种可扩展的框架，通过视频的时间建模学习常识性世界知识。
• 通过训练模型预测未来视觉特征，提升动作和物体的前瞻能力。
• 在真实世界、未经筛选的视频数据集上验证自监督学习的有效性。

提出的方法

• 该框架仅利用视频片段的时间顺序，训练深度神经网络以预测未来帧的视觉表征。
• 它利用未标注视频中固有的时间结构作为表示学习的监督信号。
• 该模型学习一个联合嵌入空间，从过去和当前帧预测未来帧。
• 该方法端到端可微，允许通过视频序列进行反向传播以优化未来预测。
• 该方法无需动作或物体标注，仅依赖视频顺序作为监督信号。
• 该框架在两个真实世界视频数据集上进行评估，以检验其泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 从未标注视频中进行自监督学习能否提升计算机视觉中的未来前瞻能力？
• RQ2 未标注视频中的时间结构在学习常识性世界知识方面有多有效？
• RQ3 在无显式标注的情况下，未来视觉表征能在多大程度上被预测？
• RQ4 从未经筛选的真实世界视频中学习是否能泛化到下游的前瞻任务？
• RQ5 自监督预训练对动作和物体前瞻性能有何影响？

主要发现

• 通过利用未标注视频数据，该模型在前瞻预测方面取得了显著提升。
• 在非结构化视频上进行自监督预训练，可使下游预测任务的泛化能力得到增强。
• 该方法无需任何人工标注的未来标签，即可有效预测动作和物体。
• 在两个具有挑战性的现实世界视频数据集上均观察到性能提升，证明了其鲁棒性。
• 结果验证了未标注视频中的时间结构是学习未来预测的强大信号。
• 该方法在保持强大预测性能的同时，降低了对昂贵标注的依赖。