[论文解读] Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses

Chen Ju, Peisen Zhao+3 more|arXiv (Cornell University)|Dec 15, 2020

Human Pose and Action Recognition参考文献 35被引用 11

一句话总结

本文提出了一种新颖的基于提议的点级时空动作定位（PTAL）框架，利用关键点检测与可学习映射器，将全监督提议与弱监督类别标签相连接。通过将预测约束在检测到的关键点周围的稳定提议上，该方法显著减少了误报并提升了定位精度，在THUMOS14、GTEA和BEOID数据集上达到了最先进性能。

ABSTRACT

Point-Level temporal action localization (PTAL) aims to localize actions in untrimmed videos with only one timestamp annotation for each action instance. Existing methods adopt the frame-level prediction paradigm to learn from the sparse single-frame labels. However, such a framework inevitably suffers from a large solution space. This paper attempts to explore the proposal-based prediction paradigm for point-level annotations, which has the advantage of more constrained solution space and consistent predictions among neighboring frames. The point-level annotations are first used as the keypoint supervision to train a keypoint detector. At the location prediction stage, a simple but effective mapper module, which enables back-propagation of training errors, is then introduced to bridge the fully-supervised framework with weak supervision. To our best of knowledge, this is the first work to leverage the fully-supervised paradigm for the point-level setting. Experiments on THUMOS14, BEOID, and GTEA verify the effectiveness of our proposed method both quantitatively and qualitatively, and demonstrate that our method outperforms state-of-the-art methods.

研究动机与目标

• 解决点级时空动作定位（PTAL）中帧级预测的高解空间与误报问题。
• 通过利用稀疏的点级标注，缩小全监督与弱监督TAL之间的性能差距。
• 探索在全监督设置中常见的基于提议的范式在PTAL中的应用，以增强预测一致性并提升定位质量。
• 设计一个可微映射模块，实现从弱监督类别标签到提议级预测的反向传播。
• 证明在相同弱监督条件下，关键点检测与基于提议的预测显著优于帧级概率预测。

提出的方法

• 使用点级标注训练关键点检测器，以识别动作锚点作为粗略的动作中心。
• 针对每个检测到的锚点点，通过中心偏移与动作长度预测生成提议，形成局部化的动作片段。
• 引入一个可学习映射模块，将提议位置转换为可微的二值时间掩码，以支持弱监督。
• 利用二值掩码作为时间注意力机制，从视频特征生成提议级分类概率。
• 通过可微映射器，利用类别级标签对整个流程进行端到端优化，实现在非可微变换下的反向传播。
• 采用两阶段训练：首先使用点级标签训练关键点检测，然后使用弱监督分类损失训练提议预测。

实验结果

研究问题

• RQ1 基于提议的预测范式在全监督TAL中表现良好，能否被适配到点级监督设置中，以减少解空间并提升定位一致性？
• RQ2 当仅有单帧标注可用时，如何有效连接全监督提议学习与弱监督类别标签？
• RQ3 关键点检测精度在基于提议的PTAL框架中对最终定位性能的影响程度如何？
• RQ4 尽管位置到掩码的转换是非可微的，所提出的映射模块是否能成功实现弱监督下的端到端训练？
• RQ5 在相同弱监督条件下，基于提议的范式与帧级概率预测在误报、连续性与mAP方面有何对比？

主要发现

• 所提方法在GTEA上达到33.7%的平均mAP，超越此前SOTA超过4.5%。
• 在BEOID上，该方法在平均mAP上比最佳竞争方法高出超过4.5%，展现出强大的泛化能力。
• 在THUMOS14上，与全监督基线相比，该方法将mAP差距缩小了6%，显著缩小了性能差距。
• 与SF-Net相比，该方法将误报减少10–15%，并显著提升召回率，表明对完整动作的检测能力更强。
• 在高斯分布模拟的点级标注下，该方法取得最佳性能（mAP ~65.2），证实其对标签分布的鲁棒性。
• 定性结果表明，相比SF-Net的帧级概率曲线，该方法的预测更加连续且完整，误报更少。