[论文解读] ACSNet: Action-Context Separation Network for Weakly Supervised Temporal Action Localization

Ziyi Liu, Le Wang+5 more|arXiv (Cornell University)|Mar 28, 2021

Human Pose and Action Recognition参考文献 35被引用 8

一句话总结

该论文提出ACSNet，一种用于弱监督动作定位的新型双分支网络，通过潜在组件建模显式分离动作与上下文。通过引入辅助上下文类别并利用双分支注意力（前景-背景与动作-上下文），ACSNet在THUMOS14、ActivityNet v1.2和v1.3上实现了最先进性能，通过改进边界定位和提议置信度，显著超越了先前方法。

ABSTRACT

The object of Weakly-supervised Temporal Action Localization (WS-TAL) is to localize all action instances in an untrimmed video with only video-level supervision. Due to the lack of frame-level annotations during training, current WS-TAL methods rely on attention mechanisms to localize the foreground snippets or frames that contribute to the video-level classification task. This strategy frequently confuse context with the actual action, in the localization result. Separating action and context is a core problem for precise WS-TAL, but it is very challenging and has been largely ignored in the literature. In this paper, we introduce an Action-Context Separation Network (ACSNet) that explicitly takes into account context for accurate action localization. It consists of two branches (i.e., the Foreground-Background branch and the Action-Context branch). The Foreground- Background branch first distinguishes foreground from background within the entire video while the Action-Context branch further separates the foreground as action and context. We associate video snippets with two latent components (i.e., a positive component and a negative component), and their different combinations can effectively characterize foreground, action and context. Furthermore, we introduce extended labels with auxiliary context categories to facilitate the learning of action-context separation. Experiments on THUMOS14 and ActivityNet v1.2/v1.3 datasets demonstrate the ACSNet outperforms existing state-of-the-art WS-TAL methods by a large margin.

研究动机与目标

• 解决弱监督动作定位（WS-TAL）中的关键挑战：上下文片段与动作共现，常被误分类为动作。
• 克服现有基于注意力的方法仅区分前景与背景而缺乏对动作-上下文分离的显式监督与约束的问题。
• 开发一种方法，利用视频级标签学习动作与上下文的解耦表征，而无需帧级标注。
• 通过显式动作-上下文解耦，生成更精确的提议和更可靠的置信度分数，从而提高时序动作定位的准确性。

提出的方法

• 提出双分支架构：前景-背景（FB）分支用于初始的前景/背景区分，动作-上下文（AC）分支用于进一步将前景分离为动作与上下文。
• 将每个视频片段建模为正负两种潜在成分的组合，其不同配置代表前景、动作或上下文。
• 使用扩展的视频级标签并引入辅助上下文类别，为动作-上下文分离提供间接监督，以克服缺乏显式监督的问题。
• 在FB分支中应用片段级分类预测（SCPs）和片段级注意力预测（SAPs），以识别支持视频级分类的显著片段。
• 利用AC分支的输出，通过双流融合机制优化时序动作提议并提升提议置信度分数。
• 使用多任务损失进行网络训练，以在保持强视频级分类性能的同时，促进精确的动作定位。

实验结果

研究问题

• RQ1 在仅使用视频级监督的情况下，显式动作-上下文分离是否能提升弱监督时序动作定位的定位精度？
• RQ2 如何有效将辅助上下文类别融入训练过程，以引导注意力机制区分上下文与动作？
• RQ3 分离动作与上下文在多大程度上减少了因共现上下文片段导致的误报？
• RQ4 所提出的双分支架构结合潜在组件建模是否在边界精度和提议质量方面优于标准的前景-背景注意力方法？
• RQ5 该方法是否能在无需帧级标注的情况下，泛化到多样化的数据集和动作类别？

主要发现

• 在THUMOS14测试集上，ACSNet在IoU=0.5时达到32.0%的平均精度（mAP），当同时使用${\widehat{\boldsymbol{\varphi}}_{a}}$和${\widehat{\boldsymbol{\Psi}}}$时，性能相比基线提升100%。
• 在提议评估中，AC分支贡献了44.5%的mAP提升，在提议生成中贡献33.3%，在通过$P_2$、$P_3$和$S_2$的消融研究中贡献22.2%。
• 在ActivityNet v1.3上，ACSNet实现了最先进性能，大幅超越先前的SOTA方法，证明了其泛化能力。
• 消融研究显示，若移除FB分支的提议并仅依赖${\widehat{\boldsymbol{\varphi}}_{a}}$和${\widehat{\boldsymbol{\Psi}}}$，可获得最佳性能，表明FB分支输出可能具有误导性。
• 该方法显著减少了由上下文引起的误报，这从THUMOS14上IoU=0.7时$\mathbb{S}_{c}$（上下文）得分仅为0.2得到验证，同时保持了较高的$\mathbb{S}_{a}$（动作）得分。
• ACSNet甚至在与近期全监督TAL方法的比较中也表现出具有竞争力的性能，凸显了在弱监督下显式动作-上下文分离的有效性。