[论文解读] Uncertainty on Asynchronous Time Event Prediction

Marin Biloš, Bertrand Charpentier+1 more|arXiv (Cornell University)|Jan 1, 2019

Time Series Analysis and Forecasting被引用 11

一句话总结

本文提出WGP-LN和FD-Dir两种新型深度学习架构，通过逻辑正态分布和狄利克雷分布对异步事件序列预测中的时变不确定性进行建模。通过将RNN与高斯过程或函数分解相结合，模型能够捕捉预测分布的丰富时序动态，在多个数据集上显著提升了分类预测、时间预测和异常检测的性能。

ABSTRACT

Asynchronous event sequences are the basis of many applications throughout different industries. In this work, we tackle the task of predicting the next event (given a history), and how this prediction changes with the passage of time. Since at some time points (e.g. predictions far into the future) we might not be able to predict anything with confidence, capturing uncertainty in the predictions is crucial. We present two new architectures, WGP-LN and FD-Dir, modelling the evolution of the distribution on the probability simplex with time-dependent logistic normal and Dirichlet distributions. In both cases, the combination of RNNs with either Gaussian process or function decomposition allows to express rich temporal evolution of the distribution parameters, and naturally captures uncertainty. Experiments on class prediction, time prediction and anomaly detection demonstrate the high performances of our models on various datasets compared to other approaches.

研究动机与目标

• 为解决在异步序列中预测未来事件并量化不确定性（尤其是远期预测）的挑战。
• 以自然方式捕捉置信度衰减和不确定性的形式，建模预测分布随时间的演化。
• 通过显式建模分布不确定性，提升事件类别预测、时间预测和异常检测的性能。
• 开发将概率时变分布（逻辑正态和狄利克雷）与RNN及函数分解结合的序列建模架构。

提出的方法

• 提出WGP-LN，利用结合高斯过程的RNN对单纯形上的逻辑正态分布参数进行建模，以捕捉平滑的时序演化。
• 提出FD-Dir，通过函数分解对狄利克雷分布参数随时间的变化进行建模，实现灵活且可解释的时序动态。
• 使用RNN编码事件历史，并生成未来预测的时间依赖分布参数。
• 利用单纯形表示事件类别概率，确保时间上概率分布的有效性。
• 在WGP-LN中引入高斯过程，以建模分布参数演化的不确定性，实现不确定性感知的预测。
• 在FD-Dir中应用函数分解，以建模分布参数中的非线性时序模式，增强表达能力。

实验结果

研究问题

• RQ1 如何在长时间预测场景下，有效建模异步事件序列预测中的时变不确定性？
• RQ2 基于RNN并结合概率时变分布（逻辑正态和狄利克雷）的架构，能否提升预测准确率和不确定性校准能力？
• RQ3 WGP-LN和FD-Dir在类别预测、时间预测和异常检测任务中与现有模型相比表现如何？
• RQ4 所提模型在预测时域延长时，对置信度自然衰减的捕捉程度如何？

主要发现

• 所提模型WGP-LN和FD-Dir在多个真实世界数据集的事件类别预测任务中达到最先进性能。
• 两种模型在长期预测中均表现出更优的不确定性校准能力，尤其在置信度自然下降的场景下。
• 在时间预测任务中，模型表现优于现有方法，表明其对事件序列时序动态的建模能力更强。
• 在异常检测中，模型通过利用预测分布的不确定性估计，有效识别出罕见或意外事件。
• RNN与高斯过程（WGP-LN）以及RNN与函数分解（FD-Dir）的结合，实现了分布参数随时间的高表达力与平滑演化。
• 实证结果表明，模型在显式建模不确定性的前提下，仍保持高预测性能，这对实际应用至关重要。