[论文解读] Detecting the Moment of Completion: Temporal Models for Localising Action Completion

Farnoosh Heidarivincheh, Majid Mirmehdi+1 more|arXiv (Cornell University)|Oct 6, 2017

Human Pose and Action Recognition参考文献 9被引用 5

一句话总结

本文提出了一种监督方法，用于定位动作完成的确切时刻，利用微调的卷积神经网络（CNN）特征和时序模型（LSTM与HMM）检测帧级别的完成情况。在六个动作上，该方法在10帧范围内检测到真实完成时刻的准确率约为75%，且PCA-HMM在不完整序列上的表现优于LSTM。

ABSTRACT

Action completion detection is the problem of modelling the action's progression towards localising the moment of completion - when the action's goal is confidently considered achieved. In this work, we assess the ability of two temporal models, namely Hidden Markov Models (HMM) and Long-Short Term Memory (LSTM), to localise completion for six object interactions: switch, plug, open, pull, pick and drink. We use a supervised approach, where annotations of pre-completion and post-completion frames are available per action, and fine-tuned CNN features are used to train temporal models. Tested on the Action-Completion-2016 dataset, we detect completion within 10 frames of annotations for ~75% of completed action sequences using both temporal models. Results show that fine-tuned CNN features outperform hand-crafted features for localisation, and that observing incomplete instances is necessary when incomplete sequences are also present in the test set.

研究动机与目标

• 为填补动作识别中的空白，定位动作目标达成的精确时刻，而非仅检测运动的开始或结束。
• 开发一种帧级方法，基于动作完成的视觉线索，区分完成前与完成后状态。
• 评估LSTM和HMM等时序模型是否能有效利用微调的CNN特征定位完成时刻。
• 探究在训练过程中包含不完整序列是否对避免完成检测中的误报至关重要。

提出的方法

• 使用从微调卷积神经网络（FT-CNN）提取的帧级特征，表示每一帧的视觉变化。
• 应用两种时序模型——长短期记忆网络（LSTM）和概率上下文HMM（PCA-HMM）——对动作随时间的进展进行建模。
• 利用每个动作序列的完成前和完成后帧的标注作为监督信号进行模型训练。
• 采用一种度量标准评估检测时间，对早于或晚于真实完成时刻的检测进行惩罚。
• 将使用微调CNN特征的性能与手工设计特征及预训练特征进行比较。
• 通过仅使用完整序列进行训练并在完整与不完整序列上进行测试，评估模型的泛化能力。

实验结果

研究问题

• RQ1 LSTM和HMM等时序模型是否能有效利用视觉特征在帧级别定位动作完成的时刻？
• RQ2 微调的CNN特征与手工设计或预训练特征相比，在检测完成线索方面表现如何？
• RQ3 在训练数据中包含不完整序列是否能提升模型在未见不完整序列上的检测鲁棒性？
• RQ4 在保持完整序列上准确率的同时，LSTM与PCA-HMM中哪种时序模型对不完整序列的泛化能力更强？

主要发现

• LSTM与PCA-HMM在Action-Completion-2016数据集上，对约75%的完整动作序列，均能在10帧范围内检测到真实完成时刻。
• 微调的CNN特征在检测完成方面显著优于手工设计和预训练特征，因其能更好地捕捉细微的场景变化。
• PCA-HMM在不完整序列上的F1分数更高（90.6 vs. 90.1 for LSTM），表明其对误报的鲁棒性更强。
• LSTM在完整序列上的召回率（92.7%）和F1分数（90.1%）高于PCA-HMM（89.0%召回率，90.6% F1分数），表明其检测灵敏度更高。
• 仅使用完整序列进行训练会导致在不完整序列上出现误报的完成检测——尤其在switch和drink等动作上表现明显，凸显了混合训练数据的必要性。
• action switch的检测准确率最高，因其具有明显的视觉变化（灯熄灭）；而action open因环境变化细微，表现最差。