[论文解读] Learning Representations for Predicting Future Activities

Mohammadreza Zolfaghari, Özgün Çiçek+4 more|arXiv (Cornell University)|May 9, 2019

Human Pose and Action Recognition参考文献 39被引用 7

一句话总结

该论文提出 PreFAct，一种自监督框架，通过多假设方法学习动态环境表征，以预测未来活动。该方法解耦动作与物体预测，为未来状态生成自然语言描述，并在 Epic-Kitchens 和 Breakfast 数据集上取得优异性能，展现出校准良好的不确定性估计以及在动作和物体上的鲁棒零样本泛化能力。

ABSTRACT

Foreseeing the future is one of the key factors of intelligence. It involves understanding of the past and current environment as well as decent experience of its possible dynamics. In this work, we address future prediction at the abstract level of activities. We propose a network module for learning embeddings of the environment's dynamics in a self-supervised way. To take the ambiguities and high variances in the future activities into account, we use a multi-hypotheses scheme that can represent multiple futures. We demonstrate the approach by classifying future activities on the Epic-Kitchens and Breakfast datasets. Moreover, we generate captions that describe the future activities

研究动机与目标

• 通过从无标签视频数据中学习环境状态的动态表征，提升未来活动预测性能。
• 通过多假设方案建模多个可能的未来，以应对未来活动的非确定性本质。
• 通过解耦动作与物体预测，提升对未见动作-物体组合的泛化能力。
• 利用学习到的表征生成描述预测未来活动的自然语言描述。
• 评估在长时程、模糊未来场景中预测的不确定性校准性与鲁棒性。

提出的方法

• 未来预测模块将过去和当前观测的时空特征转换为可能未来活动的表征。
• 模型将未来预测解耦为动作和物体的独立表征，从而实现在物体类别上的零样本泛化。
• 多假设方案为每个输入生成多个候选未来活动预测，以捕捉未来动态中的不确定性和模糊性。
• 语言模块从预测的未来表征生成描述性文本，实现对未来状态的自然语言解释。
• 在无剪辑视频数据上通过时间对比学习进行自监督训练，仅在监督设置下使用动作和物体标签作为监督信号。
• 通过每种假设的置信度分数集成不确定性估计，并利用可靠性图和稀疏化图进行评估。

实验结果

研究问题

• RQ1 自监督表征学习能否有效捕捉长期动态以用于未来活动预测？
• RQ2 多假设方法在多大程度上能建模未来活动中固有的模糊性与变异性？
• RQ3 解耦动作与物体预测在多大程度上提升了零样本泛化能力？
• RQ4 模型的不确定性估计在多大程度上是校准良好的？
• RQ5 学习到的表征能否被有效映射为与真实未来活动对齐的自然语言描述？

主要发现

• 该模型在 Epic-Kitchens 和 Breakfast 数据集上的未来活动预测任务中均表现优异，多假设预测带来了准确率的提升。
• 稀疏化图显示，移除高不确定性预测后准确率持续提升，表明不确定性估计具有信息量且校准良好。
• 可靠性图表明置信度分数与实际准确率一致上升，证实了不确定性预测的校准性。
• 该模型能有效泛化到未见的动作-物体组合，得益于解耦的动作-物体表征，展现出强大的零样本泛化能力。
• 定性结果表明，生成的描述与真实未来活动高度一致，即使在 Epic-Kitchens 等具有挑战性的第一人称设置下亦然。
• 模型的稀疏化曲线与理想曲线（oracle）之间的差距相对较大，表明未来活动预测任务本身仍具挑战性，存在固有的高错误率。