[论文解读] Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization

Mengmeng Xu, Juan-Manuel Pérez-Rúa+3 more|arXiv (Cornell University)|Mar 28, 2021

Human Pose and Action Recognition参考文献 66被引用 4

一句话总结

本文提出了一种低保真度（LoFi）视频编码器优化方法，可在GPU显存受限的条件下实现视频编码器与时序动作定位（TAL）头的端到端训练。通过在预训练阶段降低小批量在时间与空间维度上的分辨率，该方法使梯度能够通过TAL监督反向传播至编码器，显著提升特征表示能力，并在性能上达到新的SOTA水平，甚至超越使用双流ResNet50模型的性能，仅采用单流ResNet18模型即可实现。

ABSTRACT

Temporal action localization (TAL) is a fundamental yet challenging task in video understanding. Existing TAL methods rely on pre-training a video encoder through action classification supervision. This results in a task discrepancy problem for the video encoder -- trained for action classification, but used for TAL. Intuitively, end-to-end model optimization is a good solution. However, this is not operable for TAL subject to the GPU memory constraints, due to the prohibitive computational cost in processing long untrimmed videos. In this paper, we resolve this challenge by introducing a novel low-fidelity end-to-end (LoFi) video encoder pre-training method. Instead of always using the full training configurations for TAL learning, we propose to reduce the mini-batch composition in terms of temporal, spatial or spatio-temporal resolution so that end-to-end optimization for the video encoder becomes operable under the memory conditions of a mid-range hardware budget. Crucially, this enables the gradient to flow backward through the video encoder from a TAL loss supervision, favourably solving the task discrepancy problem and providing more effective feature representations. Extensive experiments show that the proposed LoFi pre-training approach can significantly enhance the performance of existing TAL methods. Encouragingly, even with a lightweight ResNet18 based video encoder in a single RGB stream, our method surpasses two-stream ResNet50 based alternatives with expensive optical flow, often by a good margin.

研究动机与目标

• 为了解决现有TAL方法中的任务差异问题，即视频编码器虽为动作分类预训练，却用于时序定位任务。
• 在长时未修剪视频导致的GPU显存限制下，实现视频编码器与TAL头的联合优化。
• 开发一种显存高效的优化方法，通过引入TAL监督来改进视频编码器的特征表示训练。
• 证明LoFi优化在不同主干网络架构与数据集上均能持续提升性能。
• 表明LoFi在TAL任务中优于标准预训练与自监督学习方法。

提出的方法

• 引入一种低保真度（LoFi）训练阶段，通过降低小批量在时间、空间或时空维度上的分辨率，以减少GPU显存占用。
• 在此LoFi阶段，使用TAL监督损失对视频编码器与TAL头进行端到端优化。
• 在与标准训练相同的硬件预算下进行，确保在中端GPU上的实际可行性。
• 将LoFi优化后的编码器作为下游TAL任务的预训练主干网络，替代传统的动作分类预训练。
• 采用长周期低保真配置以维持训练稳定性与梯度流动。
• 在ActivityNet-v1.3与HACS基准上，使用多种视频编码器（ResNet18、34、50）与TAL头（G-TAD、BC-GNN）对方法进行评估。

实验结果

研究问题

• RQ1 在GPU显存受限条件下，能否通过端到端优化视频编码器与TAL头来提升性能？
• RQ2 LoFi训练是否能减少动作分类与时序动作定位之间的任务差异？
• RQ3 在适当的LoFi预训练下，轻量化单流RGB编码器能否超越双流ResNet50模型？
• RQ4 LoFi与自监督学习及标准动作分类预训练相比，在TAL任务中表现如何？
• RQ5 LoFi带来的性能提升是否在不同深度与架构的视频编码器上均具有泛化能力？

主要发现

• LoFi方法在ActivityNet-v1.3上实现了34.49的平均mAP新SOTA水平，使用TSM-R18模型，较标准ACP基线提升+0.90 mAP。
• 即使仅使用单个RGB流与ResNet18模型，LoFi仍优于双流ResNet50模型，证明了任务特定编码器优化的有效性。
• 性能提升在更深主干网络上也保持一致：在ActivityNet-v1.3上，TSM-R34提升+0.84 mAP，TSM-R50提升+0.70 mAP。
• LoFi预训练优于Arrow of Time与SpeedNet自监督学习方法，后者在结合标准预训练时仅带来微小增益。
• 将ACP与自监督学习结合仅带来微小改进（如+0.16 mAP），表明二者互补性有限。
• LoFi方法仅需在LoFi训练阶段对每段视频进行一次前向传播，计算效率高且实际可行。