[论文解读] Learning Latent Process from High-Dimensional Event Sequences via Efficient Sampling

Qitian Wu, Zixuan Zhang+3 more|arXiv (Cornell University)|Oct 28, 2019

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出 LANTERN，一种对抗性模仿学习框架，可联合建模高维带标记事件序列中的潜在时间动态与隐藏关系网络。通过结合基于图注意力的潜在强度模型、高效的随机游走采样方法以及序列到序列判别器，LANTERN 在事件预测与网络重建任务中均达到最先进性能，即使在百万标记规模下仍保持线性可扩展性。

ABSTRACT

We target modeling latent dynamics in high-dimension marked event sequences without any prior knowledge about marker relations. Such problem has been rarely studied by previous works which would have fundamental difficulty to handle the arisen challenges: 1) the high-dimensional markers and unknown relation network among them pose intractable obstacles for modeling the latent dynamic process; 2) one observed event sequence may concurrently contain several different chains of interdependent events; 3) it is hard to well define the distance between two high-dimension event sequences. To these ends, in this paper, we propose a seminal adversarial imitation learning framework for high-dimension event sequence generation which could be decomposed into: 1) a latent structural intensity model that estimates the adjacent nodes without explicit networks and learns to capture the temporal dynamics in the latent space of markers over observed sequence; 2) an efficient random walk based generation model that aims at imitating the generation process of high-dimension event sequences from a bottom-up view; 3) a discriminator specified as a seq2seq network optimizing the rewards to help the generator output event sequences as real as possible. Experimental results on both synthetic and real-world datasets demonstrate that the proposed method could effectively detect the hidden network among markers and make decent prediction for future marked events, even when the number of markers scales to million level.

研究动机与目标

• 解决在缺乏标记关系先验知识的情况下，对高维带标记事件序列中潜在时间动态与隐藏依赖网络进行建模的挑战。
• 克服传统方法因 $O(n^2)$ 参数复杂度而失效时，对稀疏、高维事件序列建模的不可行性。
• 即使在历史数据极少的情况下，也能从部分观测中准确预测未来事件（时间与标记）。
• 以高精度与可解释性重建标记之间的潜在关系网络。
• 确保在包含多达数百万标记的序列中仍具备可扩展性，克服现有方法的指数级扩展问题。

提出的方法

• 提出一种从下至上视角生成事件序列的生成器模型，将每个标记建模为可学习的嵌入向量。
• 采用基于图的注意力机制，无需显式网络拓扑即可估计潜在结构强度，从而实现隐藏依赖关系的端到端学习。
• 引入基于随机游走的高效采样策略，以结构化、分层方式生成后续事件，提升训练稳定性与生成结果的真实性。
• 使用序列到序列判别器通过逆强化学习优化奖励信号，实现在不依赖显式距离度量的情况下，对高维事件序列进行有效比较。
• 在生成器中引入多头注意力机制，更好地捕捉标记之间的潜在结构邻近性，从而提升网络重建性能。
• 在生成器中采用启发式奖励函数进行训练，但消融实验表明其效果不如完整的对抗性设置。

实验结果

研究问题

• RQ1 深度生成模型能否在缺乏结构先验知识的情况下，有效学习高维带标记事件序列中的潜在时间点过程与隐藏关系网络？
• RQ2 模型如何应对事件序列中相邻事件未必具有因果关系的隐式依赖挑战？
• RQ3 不同奖励函数（如启发式与对抗性）对生成序列质量与网络重建的影响如何？
• RQ4 当标记数量不断增加，特别是在数百万种事件类型的情形下，模型的扩展性能如何？
• RQ5 与现有基线方法相比，该模型是否能在未来事件预测与网络拓扑重建两方面均实现更优性能？

主要发现

• LANTERN 在所有数据集上的网络重建任务中均取得最佳 F1 分数，平均较次优基线（NETRATE 或 KernelCascade）提升 14.9%。
• 在时间与标记预测任务中，LANTERN 显著优于 NETRATE 与 KernelCascade，尤其在仅观测到序列小部分时表现更优。
• 在小数据集上，LANTERN-RNN 表现优于 LANTERN-PR，但 LANTERN-PR 表现较差，归因于启发式奖励不可靠，凸显对抗性奖励学习的重要性。
• 随着标记数量从 100 增至 100,000，LANTERN 的运行时间呈现线性增长，而 NETRATE 与 KernelCascade 则表现出指数级增长。
• 模型在百万标记规模下依然有效，运行时间线性增长，证实其适用于社交网络或城市出行数据等大规模真实应用场景。
• 训练曲线显示在小数据集上收敛稳定，而大模型中波动现象归因于在巨大标记空间中采样带来的随机性。