[论文解读] Learning Salient Boundary Feature for Anchor-free Temporal Action Localization

Chuming Lin, Chengming Xu+7 more|arXiv (Cornell University)|Mar 24, 2021

Human Pose and Action Recognition参考文献 40被引用 18

一句话总结

本文提出 AFSD，一种完全无锚点的时序动作定位框架，通过基于显著性的边界池化模块和边界一致性学习（BCL）提升边界定位性能。通过聚焦于时序片段级别的特征而非区域级别的特征，该方法在 THUMOS14 上实现了最先进性能，mAP@0.5 提升 3.7%，同时由于提案数量更少且超参数调优减少，效率更高。

ABSTRACT

Temporal action localization is an important yet challenging task in video understanding. Typically, such a task aims at inferring both the action category and localization of the start and end frame for each action instance in a long, untrimmed video.While most current models achieve good results by using pre-defined anchors and numerous actionness, such methods could be bothered with both large number of outputs and heavy tuning of locations and sizes corresponding to different anchors. Instead, anchor-free methods is lighter, getting rid of redundant hyper-parameters, but gains few attention. In this paper, we propose the first purely anchor-free temporal localization method, which is both efficient and effective. Our model includes (i) an end-to-end trainable basic predictor, (ii) a saliency-based refinement module to gather more valuable boundary features for each proposal with a novel boundary pooling, and (iii) several consistency constraints to make sure our model can find the accurate boundary given arbitrary proposals. Extensive experiments show that our method beats all anchor-based and actionness-guided methods with a remarkable margin on THUMOS14, achieving state-of-the-art results, and comparable ones on ActivityNet v1.3. Code is available at https://github.com/TencentYoutuResearch/ActionDetection-AFSD.

研究动机与目标

• 解决基于锚点和基于动作性引导的时序动作定位方法在效率和超参数敏感性方面的不足。
• 开发一种完全无锚点的框架，以减少冗余提案并消除预定义锚点。
• 通过聚焦于显著的时序片段级别特征而非区域级别上下文，提升边界定位精度。
• 设计一种边界优化机制，结合帧级别与 FPN 级别特征，并施加一致性约束。
• 实现端到端训练，联合优化分类与边界回归，避免两阶段模型中的阶段隔离问题。

提出的方法

• 模型采用可端到端训练的主干网络，结合特征金字塔网络（FPN）和简单的预测头，从每个位置输出动作类别和时间偏移量。
• 提出一种新颖的边界池化模块，用于从起始和结束区域提取最显著的时序片段级别特征，替代传统的区域级别池化。
• 边界一致性学习（BCL）通过使用修改后的真实标签信号和自监督对比学习，强制预测边界信号与真实标签信号之间的一致性。
• 优化模块通过 1D 卷积将帧级别特征与 FPN 特征融合，一致性损失确保特征学习的鲁棒性。
• 模型采用多种损失项进行训练：动作性损失（ℓₐcₜ）、三元组损失（ℓₜᵣᵢₚ）和一致性损失（ℓcₒₙ），各项均有助于提升边界检测性能。
• 该框架完全避免锚点生成，每个时间位置仅生成一个提案，即以起始和结束位置为参考的偏移对。

Figure 1: Compared with actionness and anchor-based methods, anchor-free method is more efficient and flexible to produce fewer proposals without any extra classifier and pre-defined anchors.

实验结果

研究问题

• RQ1 无锚点的时序动作定位模型能否在准确率和效率上超越基于锚点和基于动作性的方法？
• RQ2 与区域级别上下文特征相比，时序片段级别的显著性特征如何提升边界定位性能？
• RQ3 在无锚点提案机制下，一致性学习在优化边界特征方面发挥何种作用？
• RQ4 统一的、可端到端训练的模型能否在不分离阶段的情况下，联合优化分类与边界回归？
• RQ5 与平均池化、卷积池化或堆叠池化相比，所提出的边界池化在特征质量与定位精度方面表现如何？

主要发现

• 在 THUMOS14 上，所提出的 AFSD 模型相较于最先进方法实现了 mAP@0.5 提升 3.7%，展现出显著的性能提升。
• 该模型在 ActivityNet v1.3 上也取得了相当的结果，表明其在不同数据集间具备良好的泛化能力，尽管其优化目标是 THUMOS14。
• 采用最大池化操作的边界池化相比平均池化、卷积池化和堆叠池化，平均 mAP 分别提升 0.8%、0.9% 和 0.6%。
• 包含所有一致性损失（ℓₐcₜ、ℓₜᵣᵢₚ、ℓcₒₙ）的完整模型性能最佳，各项损失均带来 0.7% 的 mAP 提升。
• 由于提案更少且优化模块更轻量化，AFSD 的推理速度显著快于现有方法，详细帧率结果见表 3。
• 消融实验表明，仅使用帧级别特征会使性能下降 1.1% mAP，证明其作为 FPN 特征补充的重要作用。

Figure 2: An action instance of cliff diving. Note that the start and end moments of the movement are more salient than others, which can bring us significant information to judge the boundary and completeness of the action.