[论文解读] Hierarchical Contrastive Motion Learning for Video Action Recognition

Xitong Yang, Xiaodong Yang+4 more|arXiv (Cornell University)|Jul 20, 2020

Human Pose and Action Recognition参考文献 77被引用 12

一句话总结

本文提出层次对比运动学习，一种自监督框架，通过对比学习在多个抽象层级上逐步学习运动表征。通过强制运动特征在较低层级预测未来特征，该方法弥合了低层级运动与高层级动作识别之间的语义鸿沟，在四个基准数据集上实现了最先进性能，且无需光流或监督预训练。

ABSTRACT

One central question for video action recognition is how to model motion. In this paper, we present hierarchical contrastive motion learning, a new self-supervised learning framework to extract effective motion representations from raw video frames. Our approach progressively learns a hierarchy of motion features that correspond to different abstraction levels in a network. This hierarchical design bridges the semantic gap between low-level motion cues and high-level recognition tasks, and promotes the fusion of appearance and motion information at multiple levels. At each level, an explicit motion self-supervision is provided via contrastive learning to enforce the motion features at the current level to predict the future ones at the previous level. Thus, the motion features at higher levels are trained to gradually capture semantic dynamics and evolve more discriminative for action recognition. Our motion learning module is lightweight and flexible to be embedded into various backbone networks. Extensive experiments on four benchmarks show that the proposed approach consistently achieves superior results.

研究动机与目标

• 解决从原始视频帧中学习有效运动表征的挑战，而无需依赖光流或监督预训练。
• 弥合低层级运动线索与高层级动作识别任务之间的语义鸿沟。
• 通过层次化对比学习框架，实现外观与运动特征的多层级融合。
• 开发一种轻量化、灵活的模块，可轻松集成到各种主干网络中。

提出的方法

• 该框架使用侧支路网络，以自底向上的方式在多个特征抽象层级上学习运动表征。
• 在每个层级上，应用对比损失以强制运动特征预测来自前一级别的未来特征，从而提供显式的自监督信号。
• 正样本对定义为预测特征与真实特征中相同时空位置的特征；负样本包括来自不同视频的空间、时间及易样本负例。
• 通过视频帧重建作为辅助自监督任务，初始化运动学习，以提供初始运动线索。
• 通过残差连接将运动特征整合到主干网络中，实现外观与运动特征的多层级融合。
• 训练完成后，丢弃运动学习模块，仅保留主网络中增强的运动特征。

实验结果

研究问题

• RQ1 自监督框架能否在不使用光流或监督预训练的情况下学习判别性运动表征？
• RQ2 层次对比学习如何提升低层级运动与高层级动作识别之间的对齐？
• RQ3 外观与运动特征的多层级融合对视频动作识别性能有何影响？
• RQ4 在不同抽象层级上进行对比学习，与像素级或短期运动监督相比有何差异？
• RQ5 所提方法是否能在无需任务特定微调的情况下，泛化到多样化的视频基准数据集？

主要发现

• 所提方法在Kinetics-400、Something-Something V1/V2和UCF-101上均实现了最先进性能，且未使用光流或监督预训练。
• 在使用R2D-50主干网络的Kinetics-400上，该方法达到85.1%的top-1准确率，显著优于先前的自监督方法。
• 在Something-Something V2上，该方法达到89.7%的top-1准确率，展现出在细粒度时序建模方面的强大性能。
• 消融实验证实，结合多层级融合的层次对比学习显著优于单层级或非对比基线方法。
• 该方法表现出强迁移能力，在从Kinetics-400预训练模型微调UCF-101时达到93.4%的准确率，优于现有无监督预训练方法。