[论文解读] ACM-Net: Action Context Modeling Network for Weakly-Supervised Temporal Action Localization

Sanqing Qu, Guang Chen+4 more|arXiv (Cornell University)|Apr 7, 2021

Human Pose and Action Recognition参考文献 53被引用 44

一句话总结

ACM-Net 引入三分支动作-上下文注意力机制，在视频级监督下区分动作实例、上下文和非动作背景， 在 THUMOS-14 和 ActivityNet-1.3 上达到最先进的弱监督时序动作定位，同时达到与某些全监督方法相当的性能。

ABSTRACT

Weakly-supervised temporal action localization aims to localize action instances temporal boundary and identify the corresponding action category with only video-level labels. Traditional methods mainly focus on foreground and background frames separation with only a single attention branch and class activation sequence. However, we argue that apart from the distinctive foreground and background frames there are plenty of semantically ambiguous action context frames. It does not make sense to group those context frames to the same background class since they are semantically related to a specific action category. Consequently, it is challenging to suppress action context frames with only a single class activation sequence. To address this issue, in this paper, we propose an action-context modeling network termed ACM-Net, which integrates a three-branch attention module to measure the likelihood of each temporal point being action instance, context, or non-action background, simultaneously. Then based on the obtained three-branch attention values, we construct three-branch class activation sequences to represent the action instances, contexts, and non-action backgrounds, individually. To evaluate the effectiveness of our ACM-Net, we conduct extensive experiments on two benchmark datasets, THUMOS-14 and ActivityNet-1.3. The experiments show that our method can outperform current state-of-the-art methods, and even achieve comparable performance with fully-supervised methods. Code can be found at https://github.com/ispc-lab/ACM-Net

研究动机与目标

• 促进比简单前景/背景分离更好地抑制语义模糊的动作-上下文帧。
• 提出带有三分支类别无关注意力模块的 ACM-Net，以为动作实例、上下文和背景创建 CAS_ins、CAS_con 和 CAS_bak。
• 利用 MIL 与三个独立的 CAS 分支，在只有视频级标签的情况下优化视频级动作分类。
• 融合辅助损失（注意力引导、特征分离、稀疏注意）以提升片段级判别和定位。
• 展示在 THUMOS-14 和 ActivityNet-1.3 上的最先进或具有竞争力的弱监督表现。

提出的方法

• 将视频分割为不重叠的片段，并提取 RGB 和 Flow 特征作为 F(t)。
• 通过一个可训练的卷积嵌入将特征映射到 X。
• 计算初始类别激活序列 Phi = MLP(X)。
• 应用三分支注意力模块，通过 softmax Conv(X) 获取 att_ins、att_con、att_bak。
• 构造 CAS_ins = att_ins * CAS, CAS_con = att_con * CAS, CAS_bak = att_bak * CAS。
• 通过 MIL 汇聚前-k 分数以获得视频级类别概率 p_ins、p_con、p_bak，并计算相应的交叉熵损失。
• 将损失 L_cls = L_cls_ins + L_cls_con + L_cls_bak 与辅助损失 L_gui、L_feat、L_spa 结合，用于引导、特征分离和稀疏性。
• 推理阶段，使用 p_ins 分类并通过对 CAS_ins 和 att_ins 进行阈值化以及应用 NMS 来定位动作；用 Outer-Inner-Contrastive 对分数进行细化。

实验结果

研究问题

• RQ1 在弱监督下，动作-上下文帧是否能有效从动作实例和非动作背景中分离？
• RQ2 相比前景-背景方法，三分支注意力机制是否提升了动作实例、上下文和背景之间的判别？
• RQ3 辅助损失如何影响片段级判别和整体定位性能？
• RQ4 相对于现有方法，ACM-Net 在 THUMOS-14、ActivityNet-1.3 的弱监督基准上取得了哪些性能提升？

主要发现

• 在 THUMOS-14，ACM-Net 在 0.1 IoU 下达到 68.9 mAP，0.2 IoU 为 62.7，0.3 为 55.0，0.4 为 44.6，0.5 为 34.6，0.6 为 21.8，0.7 为 10.8 IoU，超越先前的弱监督方法。
• 在 THUMOS-14，ACM-Net 获得 53.2 Avg[0.1-0.5] 和 33.4 Avg[0.3-0.7]，总体 Avg 为 42.6。
• 在 ActivityNet-1.3，ACM-Net 在 IoU=0.50 时达到 40.1 mAP，在 IoU=0.75 时为 24.2，在 IoU=0.95 时为 6.2，总体 Avg 为 24.6。
• ACM-Net 优于 ActivityNet-1.3 的最先进弱监督 TAL 方法，在某些 IoU 区间对某些全监督基线也显示出竞争力。
• 消融分析表明三分支注意力和 CAS 构造在抑制上下文帧和提高定位精度方面有效。
• 定性可视化显示 ACM-Net 能区分动作实例与模糊上下文和背景。