[论文解读] Modeling Spatio-Temporal Human Track Structure for Action Localization

Guilhem Chéron, Anton Osokin+2 more|arXiv (Cornell University)|Jun 28, 2018

Human Pose and Action Recognition参考文献 59被引用 4

一句话总结

该论文提出RecLNet，一种使用门控循环单元（GRUs）对人物轨迹中的时序动作结构进行建模的循环定位网络，从而提升时空动作定位性能。通过双流GRU处理外观特征与光流特征，并应用基于阈值的时序滤波，RecLNet在UCF101-24和DALY数据集上实现了最先进性能，显著提升了基线CNN模型在时序边界检测方面的表现。

ABSTRACT

This paper addresses spatio-temporal localization of human actions in video. In order to localize actions in time, we propose a recurrent localization network (RecLNet) designed to model the temporal structure of actions on the level of person tracks. Our model is trained to simultaneously recognize and localize action classes in time and is based on two layer gated recurrent units (GRU) applied separately to two streams, i.e. appearance and optical flow streams. When used together with state-of-the-art person detection and tracking, our model is shown to improve substantially spatio-temporal action localization in videos. The gain is shown to be mainly due to improved temporal localization. We evaluate our method on two recent datasets for spatio-temporal action localization, UCF101-24 and DALY, demonstrating a significant improvement of the state of the art.

研究动机与目标

• 通过在单个人物轨迹层面建模动作的时序结构，提升时空动作定位性能。
• 解决现有方法在精确时序边界检测方面的不足，该问题常导致误报和定位不准确。
• 开发一种循环神经网络，联合识别和定位时间上的动作，同时利用外观和运动特征。
• 证明在人物轨迹上应用循环建模可显著提升时序定位精度，尤其在基线方法失效的场景中。
• 表明该方法与近期在空间检测精度方面的进展具有互补性，且在空间定位方面仍有进一步提升空间。

提出的方法

• RecLNet采用双流门控循环单元（GRUs）处理从视频序列中人物检测框提取的外观和光流特征。
• 通过Fast-RCNN从区域提议中池化特征，并输入到独立的GRU层中，以建模每个人物轨迹内的长期时序依赖性。
• 对GRU输出应用阈值化与滤波策略，生成具有精确时序边界的最终动作检测结果。
• 模型采用端到端训练方式，基于每个轨迹联合识别动作类别并定位其时间区间。
• 通过筛选高分响应并应用阈值来抑制误报，从而优化时序定位性能。
• 在标准基准UCF101-24和DALY上评估该方法，结果与基于CNN的基线方法及最先进方法进行对比。

实验结果

研究问题

• RQ1 使用循环网络在人物轨迹上建模时序结构，能否提升时序动作定位的准确性？
• RQ2 在外观和光流双流上使用GRUs，是否相比标准CNN能更有效地检测动作边界？
• RQ3 与最先进方法相比，所提出的RecLNet在时空定位性能方面表现如何？
• RQ4 性能提升主要源于更好的时序定位，还是也包括空间检测的改进？
• RQ5 该方法能否与近期在空间检测方面的进展结合，以进一步提升整体性能？

主要发现

• RecLNet在UCF101-24数据集上实现了最先进性能，显著优于以往方法在时空动作定位方面的表现。
• 在DALY数据集上，RecLNet相较于CNN RGB+OF基线方法表现出显著改进，尤其在时序边界定位方面。
• 定性分析表明，RecLNet的得分与真实动作边界对齐得更好，而基线方法常产生不精确或噪声较大的响应。
• 该方法减少了误报，定性结果中高分虚线更少，表明检测结果更具可靠性。
• 时序定位被识别为现有方法的关键弱点，RecLNet通过循环建模有效纠正了该问题。
• 该方法与近期在空间精度方面的进展具有互补性，表明未来可通过结合更优的空间检测与RecLNet强大的时序建模能力，实现进一步性能提升。