[论文解读] HYPRO: A Hybridly Normalized Probabilistic Model for Long-Horizon Prediction of Event Sequences

Siqiao Xue, Xiaoming Shi+2 more|arXiv (Cornell University)|Oct 4, 2022

Time Series Analysis and Forecasting被引用 4

一句话总结

HYPRO 是一种混合归一化的概率模型，结合自回归基础模型与能量函数，以提升长时序事件序列预测性能。通过基于全局真实性的重加权自回归生成序列，该方法减少了误差传播问题，并在真实世界数据集上实现了最先进（SOTA）的性能表现，优于自回归与非自回归基线模型。

ABSTRACT

In this paper, we tackle the important yet under-investigated problem of making long-horizon prediction of event sequences. Existing state-of-the-art models do not perform well at this task due to their autoregressive structure. We propose HYPRO, a hybridly normalized probabilistic model that naturally fits this task: its first part is an autoregressive base model that learns to propose predictions; its second part is an energy function that learns to reweight the proposals such that more realistic predictions end up with higher probabilities. We also propose efficient training and inference algorithms for this model. Experiments on multiple real-world datasets demonstrate that our proposed HYPRO model can significantly outperform previous models at making long-horizon predictions of future events. We also conduct a range of ablation studies to investigate the effectiveness of each component of our proposed methods.

研究动机与目标

• 为解决事件序列中长时序预测的挑战，自回归模型因序列依赖性导致误差传播问题。
• 开发一种概率模型，通过基于全局合理性而非仅局部似然度对候选序列进行重加权，以提升预测质量。
• 设计高效的训练与推理算法，避免在基于能量的模型中计算难以处理的归一化常数。
• 通过实证验证所提出框架在多样化真实世界数据集（包括电商与交通）中的有效性。

提出的方法

• HYPRO 结合一个自回归基础模型（如连续时间 Transformer）来生成候选的未来事件序列。
• 能量函数评估每个完整序列（历史 + 预测未来）的全局真实性，并为更合理的序列分配更高的得分。
• 模型采用噪声对比估计（NCE）及其二分类与多分类变体来训练能量函数，无需计算难以处理的归一化常数。
• 采用归一化重要性采样推理算法，高效地从最终的混合模型分布中抽样预测结果。
• 在损失函数中引入正则化项，以增强真实序列与负样本序列之间的分离能力，尤其在二分类 NCE 训练中效果显著。
• 该框架具有模块化设计，允许使用任意自回归模型作为基础模型，并可灵活选择不同架构（如 Transformer 或 LSTM）作为能量函数。

实验结果

研究问题

• RQ1 与纯自回归模型相比，结合自回归生成与基于能量的重加权机制的混合模型是否能提升长时序事件序列预测性能？
• RQ2 通过利用评估完整序列的全局一致性，基于能量的函数是否能通过纠正局部错误来提升预测质量？
• RQ3 基于噪声对比估计的训练目标在无需显式归一化的情况下，是否能有效学习能量函数？
• RQ4 不同能量函数架构（如 Transformer 与 LSTM）对模型性能有何影响？
• RQ5 负样本数量与正则化对训练稳定性与推理质量有何影响？

主要发现

• 在淘宝数据集上，HYPRO 在所有测试预测时序上显著优于自回归基线模型 AttNHP，且随着时序延长，性能提升更加稳定。
• 在淘宝数据集上，采用连续时间 Transformer 作为能量函数的 HYPRO 表现最佳，优于自回归基线与非自回归模型。
• 在二分类 NCE 训练中引入距离正则化带来了统计上显著的性能提升（p < 0.05），而在多分类 NCE 中效果不显著（p ≈ 0.1）。
• 增加负样本数量可提升训练与推理性能，但存在上限：训练中使用 10 个负样本、推理中使用 20 个负样本时性能趋于平稳。
• 在所有实验中，连续时间 Transformer 能量函数始终优于基于 LSTM 的能量函数，表明其具备更优的上下文建模能力。
• 归一化重要性采样使 HYPRO 模型的完整分布推理变得高效，从而实现了长时序预测的可行性与可扩展性。