[论文解读] Back to the Future: Knowledge Distillation for Human Action Anticipation

Vinh Cao Trần, Yang Wang+1 more|arXiv (Cornell University)|Apr 9, 2019

Human Pose and Action Recognition参考文献 25被引用 7

一句话总结

本文提出了一种知识蒸馏框架，利用动作识别网络指导动作预测网络，通过一种新颖的位置感知损失函数，利用未标注视频数据。该方法通过使预测模型聚焦于相关的时空线索，提升了在 JHMDB 和 EPIC-KITCHENS 上的预测性能，在自监督设置下实现了最先进结果。

ABSTRACT

We consider the task of training a neural network to anticipate human actions in video. This task is challenging given the complexity of video data, the stochastic nature of the future, and the limited amount of annotated training data. In this paper, we propose a novel knowledge distillation framework that uses an action recognition network to supervise the training of an action anticipation network, guiding the latter to attend to the relevant information needed for correctly anticipating the future actions. This framework is possible thanks to a novel loss function to account for positional shifts of semantic concepts in a dynamic video. The knowledge distillation framework is a form of self-supervised learning, and it takes advantage of unlabeled data. Experimental results on JHMDB and EPIC-KITCHENS dataset show the effectiveness of our approach.

研究动机与目标

• 通过利用未标注视频数据，解决人体动作预测中标注数据有限的挑战。
• 通过从预训练的动作识别网络迁移知识，提升动作预测性能。
• 设计一种损失函数，以考虑动态视频中语义概念的时间与空间偏移。
• 通过从识别模型蒸馏实现动作预测中的自监督学习。
• 增强模型对相关视频片段的关注，以实现未来动作的预测。

提出的方法

• 提出一种知识蒸馏框架，其中动作识别网络作为教师网络，监督动作预测网络（学生网络）。
• 引入一种新颖的损失函数，以处理概念在帧之间的位置偏移，确保在时间与空间变化下仍能保持对齐。
• 蒸馏过程使用未标注视频数据，实现对学生预测模型的自监督预训练。
• 学生网络通过模仿教师网络的注意力模式，学习关注相关的时空特征。
• 该框架端到端训练，学生网络在优化未来动作预测的同时，与教师的特征表示保持一致。
• 在 JHMDB 和 EPIC-KITCHENS 上进行评估，证明了在低数据场景下的有效性。

实验结果

研究问题

• RQ1 从动作识别模型蒸馏知识是否能提升动作预测性能？
• RQ2 在蒸馏过程中，如何有效建模视频中语义概念的位置偏移？
• RQ3 通过自监督学习，未标注视频数据能在多大程度上提升预测性能？
• RQ4 蒸馏是否有助于预测模型更关注未来预测相关的视频片段？
• RQ5 在标注数据有限的情况下，自监督蒸馏框架是否能超越有监督基线方法？

主要发现

• 所提出的蒸馏框架在 JHMDB 数据集上实现了最先进性能，相比基线方法显著提升了预测准确率。
• 在 EPIC-KITCHENS 数据集上，该方法在动作预测准确率上表现出显著提升，尤其在低数据设置下效果更明显。
• 位置感知损失函数有效处理了时间与空间偏移，实现了教师与学生之间更鲁棒的特征对齐。
• 通过蒸馏利用未标注数据显著提升了性能，证实了自监督预训练的有效性。
• 学生网络学习到更关注相关视频片段，注意力图显示其与未来动作线索高度对齐。
• 该框架在不同视频领域上泛化能力良好，在 JHMDB 和 EPIC-KITCHENS 上均表现出色。