[论文解读] Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization

Junyu Gao, Mengyuan Chen+1 more|arXiv (Cornell University)|Mar 31, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出了一种新颖的弱监督动作定位框架——细粒度时间对比学习（FTCL），该框架利用可微分动态规划来学习视频序列之间的细粒度时间差异。通过引入两种互补的对比目标——细粒度序列距离（FSD）和最长公共子序列（LCS）对比，FTCL增强了动作与背景的分离能力，并缩小了分类与定位任务之间的差距，在THUMOS14和ActivityNet-1.2基准上实现了最先进性能。

ABSTRACT

We target at the task of weakly-supervised action localization (WSAL), where only video-level action labels are available during model training. Despite the recent progress, existing methods mainly embrace a localization-by-classification paradigm and overlook the fruitful fine-grained temporal distinctions between video sequences, thus suffering from severe ambiguity in classification learning and classification-to-localization adaption. This paper argues that learning by contextually comparing sequence-to-sequence distinctions offers an essential inductive bias in WSAL and helps identify coherent action instances. Specifically, under a differentiable dynamic programming formulation, two complementary contrastive objectives are designed, including Fine-grained Sequence Distance (FSD) contrasting and Longest Common Subsequence (LCS) contrasting, where the first one considers the relations of various action/background proposals by using match, insert, and delete operators and the second one mines the longest common subsequences between two videos. Both contrasting modules can enhance each other and jointly enjoy the merits of discriminative action-background separation and alleviated task gap between classification and localization. Extensive experiments show that our method achieves state-of-the-art performance on two popular benchmarks. Our code is available at https://github.com/MengyuanChen21/CVPR2022-FTCL.

研究动机与目标

• 为解决由于缺乏帧级标注而导致的弱监督动作定位（WSAL）中严重的模糊性问题。
• 提升动作与背景的判别性分离能力，并缩小视频级分类与时间定位任务之间的差距。
• 利用视频之间细粒度的时间差异作为归纳偏置，以实现更好的表示学习。
• 设计一种与模型无关、非侵入性的对比学习框架，可在不增加推理成本的前提下增强现有WSAL方法。

提出的方法

• 提出一种可微分动态规划公式，以实现时间序列关系的端到端学习。
• 引入细粒度序列距离（FSD）对比，通过匹配、插入和删除操作建模片段级关系。
• 设计最长公共子序列（LCS）对比，以挖掘两段视频之间的最长公共时间子结构。
• 联合优化FSD与LCS目标，以实现判别性动作-背景分离和分类到定位的迁移性能提升。
• 采用一种对比学习策略，利用视频的结构关系，无需修剪视频或额外监督。
• 将所提出的模块作为即插即用组件集成到现有WSAL框架中，且不增加推理阶段的计算成本。

实验结果

研究问题

• RQ1 视频序列之间的细粒度时间差异能否作为弱监督动作定位的有效归纳偏置？
• RQ2 在弱监督设置下，如何有效建模动作-背景与动作-动作之间的时间关系？
• RQ3 可微分动态规划能否在无需对齐或修剪视频的情况下学习序列到序列的关系？
• RQ4 结合FSD与LCS对比是否能同时提升动作-背景分离能力和定位准确率，优于单一目标？
• RQ5 所提出的对比学习框架是否可普遍应用于增强现有WSAL模型？

主要发现

• 在THUMOS14上，FTCL实现了最先进性能，所有IoU阈值下的平均平均精度（mAP@t-IoU）达到43.6%。
• 在ActivityNet-1.2上，所提方法实现了43.6%的mAP@t-IoU，优于现有最先进方法。
• 消融实验验证了FSD与LCS对比均有效且具有互补性，完整模型优于排除任一组件的变体。
• 将FSD与LCS替换为标准可微分DTW后性能下降，验证了所提对比目标的优越性。
• 该方法在三个强基线模型（STPN、W-TALC和CoLA）上均实现了最高达+1.9%的mAP提升，证明其泛化能力与互补性。
• 该框架与模型无关，且在推理阶段不引入额外计算开销，适用于实际部署。