[论文解读] CTAP: Complementary Temporal Action Proposal Generation

Jiyang Gao, Kan Chen+1 more|arXiv (Cornell University)|Jul 12, 2018

Human Pose and Action Recognition参考文献 23被引用 16

一句话总结

本文提出CTAP，一种互补性时间动作提议生成器，通过结合滑动窗口提议与基于动作性分数的提议，克服现有方法的局限。通过使用提议级动作性可信度估计器（PATE）识别并填补滑动窗口中缺失的高质量提议，再利用时间卷积网络对提议进行精炼排序与边界调整，CTAP在THUMOS-14和ActivityNet 1.3数据集上实现了最先进（SOTA）的平均召回率（AR），在mAP上超越先前方法超过4%，在AR@100上提升2.6%。

ABSTRACT

Temporal action proposal generation is an important task, akin to object proposals, temporal action proposals are intended to capture "clips" or temporal intervals in videos that are likely to contain an action. Previous methods can be divided to two groups: sliding window ranking and actionness score grouping. Sliding windows uniformly cover all segments in videos, but the temporal boundaries are imprecise; grouping based method may have more precise boundaries but it may omit some proposals when the quality of actionness score is low. Based on the complementary characteristics of these two methods, we propose a novel Complementary Temporal Action Proposal (CTAP) generator. Specifically, we apply a Proposal-level Actionness Trustworthiness Estimator (PATE) on the sliding windows proposals to generate the probabilities indicating whether the actions can be correctly detected by actionness scores, the windows with high scores are collected. The collected sliding windows and actionness proposals are then processed by a temporal convolutional neural network for proposal ranking and boundary adjustment. CTAP outperforms state-of-the-art methods on average recall (AR) by a large margin on THUMOS-14 and ActivityNet 1.3 datasets. We further apply CTAP as a proposal generation method in an existing action detector, and show consistent significant improvements.

研究动机与目标

• 为解决现有时间动作提议生成方法的局限性，这些方法或存在边界不精确（滑动窗口），或在动作性分数较低时遗漏有效提议（动作性分组）。
• 利用滑动窗口与基于动作性方法的互补优势：全局上下文用于排序，细粒度边界精度用于定位。
• 开发一种自适应选择高质量、互补性提议的方法，从滑动窗口中提取并填补基于动作性提议的遗漏。
• 在真实视频数据集中，同时提升平均召回率（AR）与对已见及未见动作类别的泛化能力。

提出的方法

• 该方法首先通过初始提议生成器生成滑动窗口提议与基于动作性分数的提议。
• 应用提议级动作性可信度估计器（PATE）评估每个提议被动作性分数正确检测的可靠性，过滤掉低可信度提议。
• 将来自两种来源的高可信度提议合并，并通过时间卷积神经网络（TCN）进行处理，以在保持时序顺序的前提下优化排序与调整时间边界。
• TCN替代了简单的时序池化操作，能够更好地建模时间动态，提升边界定位精度。
• 最终的CTAP模型通过PATE过滤与TCN增强的精炼方法，融合互补提议，在最小化提议数量的同时最大化召回率。
• 该方法在THUMOS-14与ActivityNet 1.3上端到端评估，并进一步在完整动作检测流程中进行测试。

实验结果

研究问题

• RQ1 结合滑动窗口与基于动作性分数的提议是否能提升时间动作提议生成中的平均召回率？
• RQ2 如何有效识别并选择来自滑动窗口的高质量、互补性提议，以纠正基于动作性方法的遗漏？
• RQ3 时间卷积网络在提议排序与边界调整方面相较于简单池化操作，优势有多大？
• RQ4 所提方法在长尾数据集（如ActivityNet 1.3）中对未见动作类别的泛化能力如何？
• RQ5 将CTAP集成到现有动作检测流程中，是否能带来一致的性能提升？

主要发现

• 在THUMOS-14测试集上，CTAP实现29.9%的mAP@tIoU=0.5，较先前SOTA方法TURN高出4.3个百分点。
• 在ActivityNet 1.3上，CTAP实现73.17%的AR@100与65.72%的AUC，分别超越最先进方法Prop-SSAD 2.60%与1.32%。
• 消融实验表明，PATE过滤显著提升性能，CTAP在AR@100与AUC上均优于SW-TAR与TAG-TAR基线方法。
• 泛化性评估显示，未见动作类别上的性能仅轻微下降（AR@100从74.06%降至72.51%），表明其具备强鲁棒性。
• 当集成至标准动作检测器（SCNN）时，CTAP持续提升检测性能，证明其在真实检测流程中的有效性。