[论文解读] Time-Dependent Representation for Neural Event Sequence Prediction

Yang Li, Nan Du+1 more|arXiv (Cornell University)|Jul 31, 2017

Topic Modeling被引用 5

一句话总结

本文提出了一种基于RNN的神经序列预测方法，采用时间依赖事件表征，引入时间掩码和联合嵌入技术，以比原始时间戳更有效地编码时间间隔。此外，还提出了基于时长的正则化方法，在应用使用和音乐推荐等多样化数据集上实现了稳定的准确率提升，TimeJoint在性能上优于包括RMTPP在内的基线模型。

ABSTRACT

Existing sequence prediction methods are mostly concerned with time-independent sequences, in which the actual time span between events is irrelevant and the distance between events is simply the difference between their order positions in the sequence. While this time-independent view of sequences is applicable for data such as natural languages, e.g., dealing with words in a sentence, it is inappropriate and inefficient for many real world events that are observed and collected at unequally spaced points of time as they naturally arise, e.g., when a person goes to a grocery store or makes a phone call. The time span between events can carry important information about the sequence dependence of human behaviors. In this work, we propose a set of methods for using time in sequence prediction. Because neural sequence models such as RNN are more amenable for handling token-like input, we propose two methods for time-dependent event representation, based on the intuition on how time is tokenized in everyday life and previous work on embedding contextualization. We also introduce two methods for using next event duration as regularization for training a sequence prediction model. We discuss these methods based on recurrent neural nets. We evaluate these methods as well as baseline models on five datasets that resemble a variety of sequence prediction tasks. The experiments revealed that the proposed methods offer accuracy gain over baseline models in a range of settings.

研究动机与目标

• 为解决现有序列模型将时间视为离散或忽略时间的局限性，通过有意义地整合连续时间间隔来改进模型。
• 在事件序列中建模类人的时间感知，其中时长和时间上下文影响行为预测。
• 通过学习时间依赖表征来捕捉事件顺序之外的时间依赖关系，从而提升序列预测的准确性。
• 探索将下一事件时长作为正则化器，以增强模型泛化能力和时间推理能力。

提出的方法

• 提出TimeMask：一种基于事件间时长学习时间感知掩码来修改事件嵌入的方法。
• 提出TimeJoint：通过时间跨度的软独热编码，联合嵌入事件及其时间间隔。
• 使用可学习投影将标量时间值转换为保留时间差异的密集低维表征。
• 通过两种损失函数将下一事件时长作为正则化器：时长预测的负对数似然损失和投影类别空间中的交叉熵损失。
• 使用LSTM进行端到端优化，在真实世界事件序列上进行模型训练。
• 采用GPU集群上的异步更新进行分布式训练，以实现大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 时间感知表征是否能在简单时间戳输入或固定时间分箱之外，进一步提升神经序列预测性能？
• RQ2 在RNN中，将时间建模为可学习的、上下文相关的嵌入，与使用原始时间值相比有何差异？
• RQ3 在事件序列建模中，将下一事件时长作为正则化器是否能提升泛化能力和预测准确率？
• RQ4 在何种情况下，时间依赖表征无法提升性能，原因是什么？
• RQ5 在捕捉多样化真实世界序列的时间动态方面，不同时间表征方法（TimeMask与TimeJoint）的表现如何比较？

主要发现

• 在Stack Overflow和金融数据集上，TimeJoint在配对t检验中p<0.05的显著水平下优于所有基线模型，包括RMTPP。
• 在应用使用数据集上，TimeJoint实现了31.53%的Precision@1，较次佳基线模型提升0.22%。
• 在音乐推荐数据集上，TimeJoint实现了MAP20为14.20，较最佳基线模型提升0.37%。
• 基于时长的正则化器$R_t^X$在多个数据集上持续提升性能，表明其在泛化中的有效性。
• TimeConcat（直接将时间与嵌入拼接）有时会降低性能，表明朴素的时间集成方式并非最优。
• 在MIMIC II数据集中，无方法优于基线，表明在所有领域中时间信息可能不具备预测能力，凸显了上下文依赖性。