[论文解读] Action Completion: A Temporal Model for Moment Detection

Farnoosh Heidarivincheh, Majid Mirmehdi+1 more|arXiv (Cornell University)|May 17, 2018

Human Pose and Action Recognition参考文献 20被引用 7

一句话总结

本文提出了一种新颖的时间模型，用于动作完成时刻检测，采用联合分类-回归循环神经网络生成帧级投票以确定完成时间。通过利用循环投票机制聚合完成前和完成后帧的贡献，该方法在三个数据集的16项动作中实现了89%的准确率，能够在一秒内检测到动作完成时刻。

ABSTRACT

We introduce completion moment detection for actions - the problem of locating the moment of completion, when the action's goal is confidently considered achieved. The paper proposes a joint classification-regression recurrent model that predicts completion from a given frame, and then integrates frame-level contributions to detect sequence-level completion moment. We introduce a recurrent voting node that predicts the frame's relative position of the completion moment by either classification or regression. The method is also capable of detecting incompletion. For example, the method is capable of detecting a missed ball-catch, as well as the moment at which the ball is safely caught. We test the method on 16 actions from three public datasets, covering sports as well as daily actions. Results show that when combining contributions from frames prior to the completion moment as well as frames post completion, the completion moment is detected within one second in 89% of all tested sequences.

研究动机与目标

• 解决现有方法在动作识别中无法判断动作目标是否真正达成的问题，而不仅仅是尝试。
• 准确定义并检测动作目标被确信完成的精确时刻，与传统动作起止边界相区分。
• 开发一种能够检测已完成和未完成动作的鲁棒模型，例如未接住的球或成功接住的球。
• 在体育和日常活动中的多样化动作上评估模型，证明其在不同领域间的泛化能力。

提出的方法

• 提出一种卷积-循环神经网络（C-RNN），处理视频帧以生成动作完成时间的帧级预测。
• 引入一种循环投票节点，结合分类和回归输出，预测完成时刻的相对位置。
• 采用联合分类-回归头，预测某帧是否为完成前、完成后或接近完成时刻。
• 通过序列级投票方案在时间序列上累积帧级投票，推断最终的完成时刻。
• 采用四种投票策略：C-C（分类-分类）、R-R（回归-回归）、C-R（分类-回归）和R-C（回归-分类），其中C-R表现最佳。
• 使用监督学习，利用训练序列中真实完成时刻的标注进行训练。

实验结果

研究问题

• RQ1 深度学习模型能否准确检测动作目标达成的时刻，而非仅检测其开始或结束？
• RQ2 整合完成前和完成后阶段的帧级预测是否能提升完成时刻检测性能？
• RQ3 所提出的循环投票机制与单独使用帧级分类或回归相比表现如何？
• RQ4 模型能否检测已完成和未完成的动作，例如失败的接球或成功的接球？
• RQ5 该方法在多样化动作（包括体育和日常活动）上的泛化能力如何？

主要发现

• C-R投票策略在所有测试序列中实现了89.9%的准确率，能在一秒内检测到完成时刻。
• 对于完整序列（共1,196个），C-R方法达到85.6%的准确率；对于不完整序列（共362个），准确率达到96.1%。
• 该方法将RD（相对偏差）误差降低至完整序列0.14，不完整序列0.04，优于其他投票策略。
• 完成前和完成后帧的帧级贡献显著提升了检测性能，证实了时间上下文的价值。
• 模型以高精度成功检测了未完成动作（如未接住的球），展示了对失败案例的鲁棒性。
• 在HMDB、UCF101和RGBD-AC数据集的16项多样化动作上的结果，证实了该方法在不同领域和动作类型间的泛化能力。