[论文解读] Action Temporal Localization in Untrimmed Videos via Multi-stage CNNs.

Zheng Shou, Dongang Wang+1 more|arXiv (Cornell University)|Jan 9, 2016

Human Pose and Action Recognition参考文献 35被引用 30

一句话总结

该论文提出了一种用于未剪辑视频中动作时序定位的多阶段3D CNN框架，包含候选生成、分类和定位三个阶段，并引入一种新颖的重叠感知损失函数。该方法在MEXaction2和THUMOS 2014数据集上分别实现了mAP提升7.4%和19.0%（IoU阈值为0.5），达到当前最优性能。

ABSTRACT

We address action temporal localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in action temporal localization via multi-stage segment-based 3D ConvNets: (1) a proposal stage identifies candidate segments in a long video that may contain actions; (2) a classification stage learns one-vs-all action classification model to serve as initialization for the localization stage; and (3) a localization stage fine-tunes on the model learnt in the classification stage to localize each action instance. We propose a novel loss function for the localization stage to explicitly consider temporal overlap and therefore achieve high temporal localization accuracy. On two large-scale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increased from 15.0% to 19.0% on THUMOS 2014, when the overlap threshold for evaluation is set to 0.5.

研究动机与目标

• 解决在长时未剪辑视频中存在背景干扰和多种活动并存时，多个动作实例的定位挑战。
• 克服现有方法在处理非约束视频数据中时间模糊性和重叠动作片段方面的局限性。
• 通过在训练过程中显式建模时间重叠，提升定位精度。
• 设计一种可扩展的、分阶段的深度学习流水线，逐步优化动作定位性能。
• 在大规模基准数据集上实现动作时序定位的最先进性能。

提出的方法

• 使用3D ConvNets在长时未剪辑视频中生成候选动作片段，作为候选生成阶段。
• 在候选片段上训练一个一对多多分类模型，用于初始化分类阶段。
• 应用定位阶段，对分类模型进行微调，以提高时间边界定位的准确性。
• 提出一种新颖的损失函数，显式惩罚预测结果与真实标签之间的时间重叠较低的情况。
• 利用多阶段3D ConvNets捕捉长视频序列中的时空特征。
• 在定位阶段优化损失函数，以鼓励预测边界与真实边界之间的IoU（交并比）最大化。

实验结果

研究问题

• RQ1 与单阶段方法相比，多阶段3D CNN框架是否能提升未剪辑视频中动作时序定位的准确性？
• RQ2 新颖的重叠感知损失函数在显式建模时间IoU的前提下，是否能有效提升定位精度？
• RQ3 分阶段训练流水线（候选生成、分类、定位）在基准数据集上是否显著优于端到端方法？
• RQ4 所提出方法在不同动作类别以及存在背景活动的长视频序列中是否具备良好的泛化能力？
• RQ5 在标准评估阈值下，该方法在MEXaction2和THUMOS 2014等标准基准上的性能提升程度如何？

主要发现

• 在MEXaction2基准上，当IoU阈值设为0.5时，所提方法实现了mAP绝对提升7.4%。
• 在THUMOS 2014基准上，相同IoU阈值下mAP提升了19.0%，展现出强大的泛化能力。
• 与基线方法相比，多阶段流水线有效减少了误报，并提升了边界定位的准确性。
• 新颖的损失函数通过显式优化时间重叠，显著提升了定位性能。
• 该方法在两个大规模基准上均优于现有的最先进系统，验证了其有效性。
• 分类阶段提供了强有力的初始化，使得定位阶段能够实现更快且更准确的收敛。