[论文解读] Self-supervised Temporal Discriminative Learning for Video Representation Learning

Jinpeng Wang, Yiqi Lin+2 more|arXiv (Cornell University)|Aug 5, 2020

Human Pose and Action Recognition参考文献 39被引用 13

一句话总结

该论文提出了一种基于视频的时序判别性学习（Video-based Temporal-Discriminative Learning, VTDL），这是一种自监督框架，通过生成时序三元组并应用时序一致增强（Temporal Consistent Augmentation, TCA）来学习时序判别性视频表征，从而保持时间导数不变性。令人惊讶的是，当在小规模视频数据集（如UCF101和HMDB51）上进行预训练时，VTDL的表现优于完全监督方法。

ABSTRACT

Temporal cues in videos provide important information for recognizing actions accurately. However, temporal-discriminative features can hardly be extracted without using an annotated large-scale video action dataset for training. This paper proposes a novel Video-based Temporal-Discriminative Learning (VTDL) framework in self-supervised manner. Without labelled data for network pretraining, temporal triplet is generated for each anchor video by using segment of the same or different time interval so as to enhance the capacity for temporal feature representation. Measuring temporal information by time derivative, Temporal Consistent Augmentation (TCA) is designed to ensure that the time derivative (in any order) of the augmented positive is invariant except for a scaling constant. Finally, temporal-discriminative features are learnt by minimizing the distance between each anchor and its augmented positive, while the distance between each anchor and its augmented negative as well as other videos saved in the memory bank is maximized to enrich the representation diversity. In the downstream action recognition task, the proposed method significantly outperforms existing related works. Surprisingly, the proposed self-supervised approach is better than fully-supervised methods on UCF101 and HMDB51 when a small-scale video dataset (with only thousands of videos) is used for pre-training. The code has been made publicly available on https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition.

研究动机与目标

• 解决在缺乏大规模人工标注数据集的情况下学习视频中判别性时序表征的挑战。
• 通过显式建模时序相似性（超越帧顺序或重建任务）来改进自监督视频表征学习。
• 开发一种数据增强策略，在减少正样本间空间相似性的同时保持时序不变性。
• 证明当标注数据有限时，自监督预训练可以超越完全监督学习。
• 仅使用未经筛选的视频片段且无需人工标注，实现有效的迁移学习用于动作识别。

提出的方法

• 通过从同一视频中采样锚点片段，并从同一视频或其他视频的不同时间区间采样正样本/负样本片段来生成时序三元组。
• 应用时序一致增强（TCA）以确保增强后正样本的时间导数（以任意顺序）保持不变，仅允许缩放常数变化。
• 最小化锚点与增强后正样本之间的嵌入距离，同时最大化与增强后负样本及其他视频在记忆库中的距离。
• 使用记忆库存储其他视频的特征，将其视为负样本以增强表征的多样性。
• 采用对比学习目标，以在嵌入空间中鼓励时序不变性和空间差异性。
• 端到端训练模型，使用对比损失优化时序判别性，且不依赖人工标注。

实验结果

研究问题

• RQ1 自监督学习能否在无需任何人工标注动作标签的情况下有效捕捉视频中的时序判别性特征？
• RQ2 时序一致增强（TCA）如何在减少正样本间空间相似性的同时保持时序不变性？
• RQ3 通过时序三元组学习时序判别性特征是否能带来比现有自监督方法更好的下游动作识别性能？
• RQ4 在小规模视频数据集上进行自监督预训练是否能超越在更大规模数据集上进行完全监督预训练？
• RQ5 VTDL的性能对超参数（如时间常数τ和时序步长）的选择有多敏感？

主要发现

• VTDL在UCF101和HMDB51上达到最先进性能，优于现有自监督方法，甚至在小规模数据集（少于10,000个视频）上预训练时超越了完全监督基线模型。
• 在UCF101和HMDB51上，仅使用数千个视频进行VTDL预训练，其动作识别准确率高于在相同小规模数据上预训练的完全监督模型。
• 当使用更高容量主干网络（如R3D-50、I3D）时，模型表现出2–3%的一致性能提升，表明VTDL能从更丰富的特征提取器中受益。
• 在UCF101和HMDB51上，τ=2时性能最优；在Kinetics上，τ=4时性能最优，反映出需根据平均视频长度进行调整。
• 适度增大的时序步长可提升性能，但过大的步长（如>6）会因在短视频中采样不自然而降低结果。
• 使用来自Kinetics的更多样化的无标签数据可提升性能，且即使数据有限，VTDL预训练仍优于从零开始训练，证明了其在时序特征学习上的有效性。