[论文解读] Imputing Missing Events in Continuous-Time Event Streams

Hongyuan Mei, Guanghui Qin+1 more|arXiv (Cornell University)|May 14, 2019

Bayesian Modeling and Causal Inference被引用 11

一句话总结

本文提出一种可训练的双向连续时间LSTM粒子平滑方法，用于填补不完整连续时间事件流中的缺失事件。通过同时依赖过去和未来的观测事件，该方法在粒子滤波基础上提升了插补精度，通过采样粒子的共识解码实现更低的贝叶斯风险，在合成数据集和真实世界数据集上均表现出一致的性能提升，采用神经点过程作为生成模型。

ABSTRACT

Events in the world may be caused by other, unobserved events. We consider sequences of events in continuous time. Given a probability model of complete sequences, we propose particle smoothing---a form of sequential importance sampling---to impute the missing events in an incomplete sequence. We develop a trainable family of proposal distributions based on a type of bidirectional continuous-time LSTM: Bidirectionality lets the proposals condition on future observations, not just on the past as in particle filtering. Our method can sample an ensemble of possible complete sequences (particles), from which we form a single consensus prediction that has low Bayes risk under our chosen loss metric. We experiment in multiple synthetic and real domains, using different missingness mechanisms, and modeling the complete sequences in each domain with a neural Hawkes process (Mei & Eisner 2017). On held-out incomplete sequences, our method is effective at inferring the ground-truth unobserved events, with particle smoothing consistently improving upon particle filtering.

研究动机与目标

• 解决在部分观测的连续时间事件流中推断未观测事件的挑战。
• 开发一种利用过去和未来观测信息以实现更精确插补的方法。
• 通过从多个粒子样本中形成共识预测，降低事件插补中的贝叶斯风险。
• 在多种缺失机制（包括缺失非随机机制，MNAR）下实现有效的推理。
• 为复杂神经点过程模型中的序列重要性采样提供可训练且可扩展的提议分布。

提出的方法

• 提出粒子平滑作为序列重要性采样方法，通过同时依赖过去和未来的观测事件，提升提议质量。
• 引入双向连续时间LSTM以建模完整事件序列的联合似然，使未来上下文信息能够影响提议。
• 基于双向LSTM构建可训练的提议分布，生成反映缺失事件后验分布的连贯粒子序列。
• 对粒子应用重要性加权，并通过最小贝叶斯风险（MBR）解码选择共识重构结果，损失函数为最优传输损失。
• 采用一种支持事件整体插入与删除的最优传输距离度量事件序列，利用动态规划实现精确对齐。
• 端到端训练提议网络，以神经点过程作为完整序列的底层生成模型。

实验结果

研究问题

• RQ1 与单向方法相比，对事件序列进行双向建模是否能提升缺失事件插补的质量？
• RQ2 在多种缺失机制下，使用可训练提议分布的粒子平滑方法在降低插补误差方面效果如何？
• RQ3 将未来观测信息引入提议分布在多大程度上能提升连续时间事件流中后验分布的近似效果？
• RQ4 通过粒子集合的共识解码是否能获得比单一样本估计更准确、更鲁棒的插补结果？
• RQ5 与粒子滤波及Metropolis-Hastings等替代推理方法相比，所提方法在准确率和效率方面表现如何？

主要发现

• 在所有合成数据集和真实世界数据集上，粒子平滑均持续优于粒子滤波，证明了在提议分布中引入未来上下文信息的优势。
• 使用双向连续时间LSTM生成提议可提升粒子样本的连贯性与准确性，从而改善插补质量。
• 通过最小贝叶斯风险解码形成的共识预测，其平均距离到真实序列低于单个粒子或标准滤波基线。
• 所提出的支持事件插入与删除的最优传输距离，为序列级插补质量评估提供了有效且合理的度量。
• 该方法在多种缺失机制下具有鲁棒性，包括缺失非随机（MNAR）情形，且无需事先知晓缺失机制。
• 提议网络的端到端训练显著提升了插补准确率，尤其在事件强度较低、缺失事件常见的场景下优势明显。