[论文解读] Anticipating Visual Representations from Unlabeled Video

Carl Vondrick, Hamed Pirsiavash+1 more|arXiv (Cornell University)|Apr 29, 2015

Human Pose and Action Recognition被引用 58

一句话总结

本文提出一种自监督框架，利用未标注视频通过训练深度网络预测未来1至5秒的语义视觉表征，以预测未来的视觉概念（如动作和物体）。通过预测高层表征而非原始像素，该方法在动作和物体预测任务上达到最先进性能，物体预测的平均平均精度相比基线提升30%，证明了无监督时间建模在未来的预测中的有效性。

ABSTRACT

Anticipating actions and objects before they start or appear is a difficult problem in computer vision with several real-world applications. This task is challenging partly because it requires leveraging extensive knowledge of the world that is difficult to write down. We believe that a promising resource for efficiently learning this knowledge is through readily available unlabeled video. We present a framework that capitalizes on temporal structure in unlabeled video to learn to anticipate human actions and objects. The key idea behind our approach is that we can train deep networks to predict the visual representation of images in the future. Visual representations are a promising prediction target because they encode images at a higher semantic level than pixels yet are automatic to compute. We then apply recognition algorithms on our predicted representation to anticipate objects and actions. We experimentally validate this idea on two datasets, anticipating actions one second in the future and objects five seconds in the future.

研究动机与目标

• 开发一种无需依赖昂贵人工标注数据的未来人类动作与物体预测方法。
• 利用大规模未标注视频中的时间结构作为自监督信号，学习世界知识。
• 通过预测语义视觉表征而非低层次像素或运动，提升未来预测性能。
• 在真实世界数据集上验证该方法在动作和物体预测任务上的性能，展示其相对于监督和无监督基线的性能优势。

提出的方法

• 仅利用未标注视频的时间顺序，训练深度神经网络以预测未来视频帧的视觉表征。
• 采用类似孪生网络的双分支架构，共享权重，用于在表征空间中比较当前帧与未来帧。
• 应用对比损失，促使网络学习到的表征使未来帧在嵌入空间中比随机帧更接近。
• 将模型扩展为生成多个预测（K=1, K=3），以处理未来结果的不确定性。
• 在预测表征上使用识别模型（如SVM、线性分类器）对未来的动作或物体进行分类。
• 通过在下游预测任务中使用少量标注数据进行微调，对模型进行适应。

实验结果

研究问题

• RQ1 从未标注视频中进行自监督学习是否能有效捕捉预测未来动作与物体所需的世界知识？
• RQ2 预测语义视觉表征是否在未来的预测任务中优于预测原始像素或运动？
• RQ3 通过多预测建模不确定性如何影响预测准确率？
• RQ4 同一表征学习框架是否能泛化至动作与物体预测任务？

主要发现

• 在第一人称日常活动数据集上，该方法在提前五秒预测物体时，平均平均精度相比强基线提升了30%的相对性能。
• 使用多预测（K=3）显著优于单输出模型，表明建模不确定性可提升动作与物体预测的性能。
• 经微调适应后的模型性能优于预训练的现成模型，表明领域特定微调具有重要价值。
• 定性结果表明，模型能正确预测复杂社交互动，如亲吻、拥抱和击掌，但在意外事件发生时偶尔会失败。
• 该方法优于随机基线和基于静态场景特征的传统SVM方法，证明了时间表征学习的优势。
• 该框架在不同视频领域间具有泛化能力，在广播电视节目和第一人称日常生活视频中均取得了优异结果。