[论文解读] Time Perception Machine: Temporal Point Processes for the When, Where and What of Activity Prediction

Yatao Zhong, Bicheng Xu+3 more|arXiv (Cornell University)|Aug 13, 2018

Human Mobility and Location-Based Analysis参考文献 30被引用 10

一句话总结

本文提出时间感知机器（Time Perception Machine, TPM），一种新颖的深度学习框架，结合分层RNN与时间点过程，用于在流式视频和轨迹数据中预测未来人类活动的‘何时’、‘何地’及‘何事’。通过从原始帧中学习条件强度函数，并在事件帧处提取特征的同时保留上下文信息，TPM在捕捉复杂时间动态和联合活动预测方面优于传统统计模型。

ABSTRACT

Numerous powerful point process models have been developed to understand temporal patterns in sequential data from fields such as health-care, electronic commerce, social networks, and natural disaster forecasting. In this paper, we develop novel models for learning the temporal distribution of human activities in streaming data (e.g., videos and person trajectories). We propose an integrated framework of neural networks and temporal point processes for predicting when the next activity will happen. Because point processes are limited to taking event frames as input, we propose a simple yet effective mechanism to extract features at frames of interest while also preserving the rich information in the remaining frames. We evaluate our model on two challenging datasets. The results show that our model outperforms traditional statistical point process approaches significantly, demonstrating its effectiveness in capturing the underlying temporal dynamics as well as the correlation within sequential activities. Furthermore, we also extend our model to a joint estimation framework for predicting the timing, spatial location, and category of the activity simultaneously, to answer the when, where, and what of activity prediction.

研究动机与目标

• 为解决在视频和轨迹等流式数据中预测未来人类活动的空白，超越单纯的检测或识别。
• 使用统一框架建模稀疏且具有语义意义的活动事件的时间分布，实现‘何时’、‘何地’与‘何事’的联合预测。
• 开发一种特征提取机制，从非事件帧中保留丰富的上下文信息，同时聚焦于关键事件帧。
• 通过神经网络直接从原始数据学习条件强度，消除对手工设计强度函数的依赖。
• 将时间点过程扩展为多模态活动预测的联合估计框架。

提出的方法

• 具有跳跃连接的分层循环神经网络处理多分辨率时间特征，从事件帧中提取表征，同时保留非事件帧中的信息。
• 模型使用神经网络学习时间点过程的条件强度函数 $\lambda^*(t)$，实现事件发生模式的端到端学习。
• 条件强度建模为 $\lambda^*(t) = e^{v h_j + w(t - t_j) + b}$（$w \geq 0$），确保有效性并捕捉时变动态。
• 框架采用最大似然估计，通过优化观测事件时间的对数似然来训练模型。
• 引入联合预测头，利用共享表征同时预测下一次活动的时间、空间位置与类别。
• 模型在两个具有挑战性的数据集上进行了验证，性能显著优于传统统计点过程模型。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖专家设计的强度函数前提下，有效预测流式视频与轨迹数据中下一次活动的时间？
• RQ2 模型如何在聚焦于有意义活动发生帧的同时，保留非事件帧中的上下文信息？
• RQ3 统一框架在多大程度上能联合预测未来活动的‘何时’、‘何地’与‘何事’？
• RQ4 与传统统计方法相比，从原始数据端到端学习条件强度函数是否能提升预测准确性？
• RQ5 所提出的分层RNN架构是否能有效建模序列活动数据中的多分辨率时间动态？

主要发现

• 时间感知机器在两个具有挑战性的数据集上，显著优于传统统计点过程模型，预测未来活动时间方面表现更优。
• 模型通过直接从原始视频与轨迹数据学习条件强度函数，实现卓越性能，无需手工设计特征。
• 具有跳跃连接的分层RNN有效捕捉了细粒度事件级特征与粗粒度时间上下文，提升了表征质量。
• 联合预测框架成功建模了未来活动时间、位置与类别的相互依赖关系，实现整体性预测。
• 理论分析证实，所提出的条件强度函数仅在 $w \geq 0$ 时有效，确保了合理的概率解释。
• 实证结果表明，该模型在体育运动与人类运动序列等多样化活动模式中具有良好的泛化能力。