[论文解读] Deep Mixture Point Processes: Spatio-temporal Event Prediction with Rich Contextual Information

Maya Okawa, Tomoharu Iwata+4 more|arXiv (Cornell University)|Jun 21, 2019

3D Shape Modeling and Analysis参考文献 39被引用 13

一句话总结

该论文提出了一种新型的时空点过程模型——深度混合点过程（DMPP），通过深度神经网络学习强度核函数的混合权重，将丰富的上下文信息（如地图图像和自然语言描述）整合到事件预测中。该方法通过混合专家结构实现可 tractable 的似然估计，在真实城市事件数据集（包括出租车接客、犯罪和碰撞事件）上实现了最先进水平的预测性能。

ABSTRACT

Predicting when and where events will occur in cities, like taxi pick-ups, crimes, and vehicle collisions, is a challenging and important problem with many applications in fields such as urban planning, transportation optimization and location-based marketing. Though many point processes have been proposed to model events in a continuous spatio-temporal space, none of them allow for the consideration of the rich contextual factors that affect event occurrence, such as weather, social activities, geographical characteristics, and traffic. In this paper, we propose extsf{DMPP} (Deep Mixture Point Processes), a point process model for predicting spatio-temporal events with the use of rich contextual information; a key advance is its incorporation of the heterogeneous and high-dimensional context available in image and text data. Specifically, we design the intensity of our point process model as a mixture of kernels, where the mixture weights are modeled by a deep neural network. This formulation allows us to automatically learn the complex nonlinear effects of the contextual factors on event occurrence. At the same time, this formulation makes analytical integration over the intensity, which is required for point process estimation, tractable. We use real-world data sets from different domains to demonstrate that DMPP has better predictive performance than existing methods.

研究动机与目标

• 解决预测城市中精确时空事件发生位置的挑战，如出租车接客、犯罪和碰撞事件。
• 将丰富的非结构化上下文特征（如地图图像、天气、交通状况和社交活动描述）整合到点过程模型中。
• 克服传统点过程模型对协变量函数形式限制过强、无法处理高维或非结构化数据的局限性。
• 开发一种可扩展、可微分的模型，支持通过反向传播进行端到端训练，同时保持似然计算的解析可 tractability。
• 在真实城市数据集上，与现有方法相比，展示出更优的预测性能和可解释性。

提出的方法

• 点过程的强度函数被建模为核函数的混合，其中混合权重由基于上下文特征的深度神经网络确定。
• 该模型使用深度神经网络将上下文输入（如地图图像的图像块和分词后的文本描述）映射为核函数的动态混合权重。
• 采用紧支撑核函数确保核矩阵的稀疏性，从而支持高效的稀疏矩阵计算，提升大规模数据集的可扩展性。
• 由于混合结构的存在，似然可通过可 tractable 的积分计算，支持标准反向传播进行端到端训练。
• 引入自注意力机制以提升可解释性，突出显示对事件预测影响最大的上下文特征。
• 模型使用 Adam 优化器进行训练，学习率为 0.01，以每个事件的对数似然作为评估指标。

实验结果

研究问题

• RQ1 深度混合点过程模型能否有效整合多样化的非结构化上下文数据（如地图图像和自然语言描述）用于时空事件预测？
• RQ2 所提出的 DMPP 模型在真实城市事件数据上是否优于现有的点过程和基于深度学习的模型？
• RQ3 该模型的混合专家架构在实现复杂上下文效应的表达性建模与可 tractable 的似然计算之间如何实现平衡？
• RQ4 该模型的注意力机制在多大程度上能提供关于特定上下文因素对事件发生影响的可解释性洞察？
• RQ5 通过使用稀疏核近似，该模型能否在不牺牲预测准确性的情况下高效扩展到大规模城市数据集？

主要发现

• 在三个真实世界数据集（纽约市出租车接客、纽约市碰撞事件、芝加哥犯罪）上，DMPP 的每个事件预测对数似然显著高于基线方法（包括 HP、LGCP 和 RMTPP）。
• 在纽约市出租车数据集上，DMPP 的对数似然比 RMTPP 提高了 12.4%，表明其在结合上下文输入建模复杂时空动态方面具有显著优势。
• 在芝加哥犯罪数据集上，DMPP 的对数似然比次优基线方法高出 15.7%，表明其在不同城市场景中均具备强大的泛化能力。
• 该模型的自注意力机制成功识别出关键上下文特征，如靠近地铁站或高流量区域，作为事件发生的显著预测因子。
• 使用紧支撑核函数通过支持稀疏矩阵运算显著降低了计算成本，使模型能够高效扩展至大规模城市数据集。
• 消融研究证实，同时整合图像和文本特征可获得最佳性能，凸显了多模态上下文建模的重要性。