[论文解读] Early Recognition of Human Activities from First-Person Videos Using Onset Representations

Michael S. Ryoo, Thomas J. Fuchs+3 more|arXiv (Cornell University)|Jun 20, 2014

Human Pose and Action Recognition参考文献 14被引用 8

一句话总结

本文提出了一种新颖的早期识别框架，用于第一人称视频中的动作识别，通过引入‘起始’表征——即预活动动作的时间序列梯度的级联直方图——以提升人类活动的早期检测能力。通过建模细微的预活动线索（例如，投掷前的伸手动作），该方法在早期观察比例下（例如，AP=0.5时为55%对比80%）实现了显著更早且更准确的识别，平均AP提升达0.1–0.2。

ABSTRACT

In this paper, we propose a methodology for early recognition of human activities from videos taken with a first-person viewpoint. Early recognition, which is also known as activity prediction, is an ability to infer an ongoing activity at its early stage. We present an algorithm to perform recognition of activities targeted at the camera from streaming videos, making the system to predict intended activities of the interacting person and avoid harmful events before they actually happen. We introduce the novel concept of 'onset' that efficiently summarizes pre-activity observations, and design an approach to consider event history in addition to ongoing video observation for early first-person recognition of activities. We propose to represent onset using cascade histograms of time series gradients, and we describe a novel algorithmic setup to take advantage of onset for early recognition of activities. The experimental results clearly illustrate that the proposed concept of onset enables better/earlier recognition of human activities from first-person videos.

研究动机与目标

• 为辅助机器人和安全关键系统实现实时的第一人称视频中人类活动的早期识别。
• 解决第一人称视频场景下早期识别研究的不足，特别是考虑预活动（起始）信号的问题。
• 开发一种联合建模起始模式与正在进行的活动视频的方法，以提升预测的准确性和及时性。
• 提出一种新颖且高效的表征——起始签名——通过时间序列梯度的级联直方图，总结预活动观测结果。

提出的方法

• 引入‘起始’的概念，即短暂而细微的预活动动作（例如，投掷前的伸手动作），这些动作先于主要活动发生。
• 通过在时间上计算弱分类器响应并形成其时间序列梯度的级联直方图，构建起始签名。
• 使用线性时间算法高效处理起始签名，并将其与正在进行的活动特征融合，以实现实时识别。
• 采用积分袋模型（BoW）和SVM分类器作为基础检测器，并通过引入起始表征以提升性能。
• 通过直方图特征、均值和最大值的组合表示起始信号，以捕捉预活动动态的分布和极端值。
• 设计多阶段检测流水线，每帧计算置信度分数（P(C^t | V)），并基于置信度峰值检测活动，支持通过调整阈值实现精度-召回率权衡评估。

实验结果

研究问题

• RQ1 能否有效建模预活动观测（起始）信号，以提升第一人称动作的早期识别性能？
• RQ2 与标准的空间-时间特征相比，将起始签名（即梯度时间序列的级联直方图）引入后，如何提升早期检测性能？
• RQ3 起始模式（特定动作的存在或缺失）在多大程度上提升了对交互级动作（如投掷、拳击或拥抱）的识别能力？
• RQ4 所提出的起始表征是否优于其他替代表征方式，如原始帧拼接或预活动帧的简单统计量（均值/最大值）？
• RQ5 该系统能否在保持高精度和高召回率的同时，实现显著更早的检测（例如，在活动完成20–50%时）？

主要发现

• 所提出的基于起始的识别方法在55%的观测比例下实现了0.5的平均平均精度（mAP），优于基线SVM方法，后者需超过80%的观测比例才能达到相同的mAP。
• 起始签名的使用在所有观测比例下均使mAP提升了0.1–0.2，其中在早期检测阶段提升最为显著（例如，在20%观测时提升0.1–0.2）。
• 该方法在具有明显起始信号的活动中表现尤为出色，如‘投掷物体’（依赖‘伸手’作为前兆），实现了更早且更可靠的检测。
• 基于级联直方图的起始表征显著优于其他替代表征方式，包括简单的均值/最大值和50帧预活动帧的拼接，后者因噪声和冗余导致性能下降。
• 精确率-召回率曲线表明，起始增强方法在所有召回水平下均保持更高的精确率，尤其在高召回率、早期检测区域表现突出。
• 该方法有效捕捉了起始信号的存在与缺失——例如，通过识别‘拳击’动作中‘伸手’或‘指向’动作的缺失，实现更早检测——展示了对负面线索的鲁棒性。