[论文解读] Deep Attention Spatio-Temporal Point Processes.

Shixiang Zhu, Minghe Zhang+2 more|arXiv (Cornell University)|Feb 17, 2020

Functional Brain Connectivity Studies参考文献 10被引用 2

一句话总结

本文提出了一种基于深度注意力的时空点过程模型，通过使用基于神经网络的谱表示的新型傅里叶核嵌入，增强条件强度函数，从而实现复杂非线性时间依赖关系的建模。该方法在合成数据和真实世界事件数据上均实现了最先进性能，能够捕捉超越传统点积核的复杂相似性结构。

ABSTRACT

We present a novel attention-based model for discrete event data to capture complex non-linear temporal dependence structures. We borrow the idea from the attention mechanism and incorporate it into the point processes' conditional intensity function. We further introduce a novel score function using Fourier kernel embedding, whose spectrum is represented using neural networks, which drastically differs from the traditional dot-product kernel and can capture a more complex similarity structure. We establish our approach's theoretical properties and demonstrate our approach's competitive performance compared to the state-of-the-art for synthetic and real data.

研究动机与目标

• 建模离散事件数据中的复杂非线性时间依赖结构。
• 克服传统点积核在捕捉事件序列中复杂相似性模式方面的局限性。
• 将注意力机制整合到点过程中，以改善对动态事件交互的建模。
• 开发一种基于神经网络学习的傅里叶核谱的新评分函数，以实现更丰富的表征学习。
• 在合成和真实世界时空事件数据集上展示优越性能。

提出的方法

• 将自注意力机制适配到点过程的条件强度函数中，以实现动态时间建模。
• 提出一种基于傅里叶核嵌入的新型评分函数，其中核谱由神经网络参数化。
• 用学习到的谱表示替代传统的点积相似性，以建模事件序列中的复杂相似性结构。
• 使用神经网络参数化傅里叶核的频率谱，以实现灵活且非线性的相似性学习。
• 通过统一的点过程框架，将基于注意力的时间动态与空间依赖性相结合。
• 理论分析建立了该模型的性质，包括注意力机制在点过程背景下的收敛性和表达能力。

实验结果

研究问题

• RQ1 注意力机制是否能有效建模离散事件数据中的复杂非线性时间依赖？
• RQ2 与传统点积核相比，神经网络学习的傅里叶核谱在建模能力上如何提升？
• RQ3 所提出的模型在合成和真实世界时空事件数据集上，相较于最先进方法的性能提升程度如何？
• RQ4 为何在点过程中使用傅里叶核嵌入与注意力机制具有理论依据？
• RQ5 该模型在多样化的时间与空间事件模式下的泛化能力如何？

主要发现

• 所提出的模型在合成和真实世界时空事件数据集上均表现出具有竞争力的性能，优于最先进基线方法。
• 使用神经网络参数化的傅里叶核谱使模型能够捕捉比传统点积核更复杂的相似性结构。
• 注意力机制能有效建模事件序列中的长程和非线性时间依赖。
• 理论分析证实了所提出的基于注意力的条件强度函数具有表达能力和稳定性。
• 实证结果表明，该模型在包括聚集型和不规则事件动态在内的多样化事件模式中均表现出稳健的泛化能力。
• 与现有方法相比，该模型在基准数据集上展现出更高的预测准确率和似然得分。