[论文解读] Exploring Temporal Granularity in Self-Supervised Video Representation Learning

Rui Qian, Yeqing Li+8 more|arXiv (Cornell University)|Dec 8, 2021

Human Pose and Action Recognition被引用 4

一句话总结

本文提出 TeG，一种自监督视频表征学习框架，通过对比长-短片段对内的密集时间嵌入及其全局嵌入，联合优化细粒度与持久性时间特征。TeG 在 8 个视频基准上达到最先进性能，在多数任务上超越了监督预训练，通过利用任务特定的时间粒度实现性能提升。

ABSTRACT

This work presents a self-supervised learning framework named TeG to explore Temporal Granularity in learning video representations. In TeG, we sample a long clip from a video and a short clip that lies inside the long clip. We then extract their dense temporal embeddings. The training objective consists of two parts: a fine-grained temporal learning objective to maximize the similarity between corresponding temporal embeddings in the short clip and the long clip, and a persistent temporal learning objective to pull together global embeddings of the two clips. Our study reveals the impact of temporal granularity with three major findings. 1) Different video tasks may require features of different temporal granularities. 2) Intriguingly, some tasks that are widely considered to require temporal awareness can actually be well addressed by temporally persistent features. 3) The flexibility of TeG gives rise to state-of-the-art results on 8 video benchmarks, outperforming supervised pre-training in most cases.

研究动机与目标

• 探究不同视频任务对不同时间粒度特征的需求。
• 解决现有自监督视频方法仅关注时间持久性、在细粒度时间任务上表现不佳的局限性。
• 开发一种灵活的框架，可同时学习细粒度与持久性表征。
• 证明时间持久性特征在某些任务中已足够，而无需依赖细粒度感知。
• 通过适应任务特定的时间粒度，在多样化视频基准上实现最先进性能。

提出的方法

• 从视频中采样一个长片段和一个完全包含在长片段内的短片段。
• 将两个片段通过视频编码器处理，但不进行最终的时间平均池化，以保留时间分辨率。
• 将编码后的特征映射到两个独立的嵌入空间：一个用于细粒度时间学习，另一个用于持久性全局学习。
• 在短片段与长片段中对应的时间嵌入之间应用密集对比损失，以增强细粒度可区分性。
• 在两个片段的池化全局嵌入之间应用全局对比损失，以强制实现时间持久性。
• 使用可学习的损失权重 α 平衡两项目标，从而根据下游任务需求灵活调整对任一粒度的优先级。

实验结果

研究问题

• RQ1 不同视频理解任务是否需要不同时间粒度的特征？
• RQ2 仅使用时间持久性特征是否足以在传统上被认为需要细粒度时间感知的任务上实现强性能？
• RQ3 统一的自监督框架能否在无需任务特定微调的情况下有效学习细粒度与持久性表征？
• RQ4 采样策略与时间聚合设计如何影响所学特征的质量？
• RQ5 在不同下游任务中，细粒度与持久性学习目标之间的最优权衡是什么？

主要发现

• 不同视频任务对不同时间粒度的特征有不同需求：细粒度特征使 VidSitu 事件分类性能提升 2.8%，Kinetics-GEBD 提升 2.4%；而持久性特征在视频级识别与时空定位任务中表现更优。
• 一些传统上认为需要细粒度特征的任务，如 Kinetics 上的视频级动作识别，实际上在使用时间持久性特征时表现更优，挑战了先前假设。
• TeG-PS（仅持久性）在 AVA-Kinetics 上以相同 R3D-50 主干网络实现 8.9 mAP 的性能提升，超越了监督预训练，证明了持久性学习的强大能力。
• TeG-FG（仅细粒度）在 Kinetics 上达到 27.7 mAP，在 AVA-Kinetics 上达到 28.7 mAP，超越了先前的无监督方法，证明了细粒度学习的有效性。
• 消融实验确认损失权重 α 需要仔细调优：设置 α = 0.9 可实现两项目标的平衡，而 α = 1.0（完全细粒度）会损害持久性任务的性能。
• 所提出的采样策略——长片段与其中包含的短片段——性能最佳（VidSitu 上为 31.1），优于对称短-短采样（27.4）与随机采样（26.9）。