[论文解读] Comparison of Uncertainty Quantification with Deep Learning in Time Series Regression

Levente Foldesi, Matías Valdenegro-Toro|arXiv (Cornell University)|Nov 11, 2022

Neural Networks and Applications被引用 5

一句话总结

本文使用PM2.5和气压数据集，评估了深度学习时间序列回归中不确定性量化方法的表现。比较了蒙特卡洛dropout、集成方法和贝叶斯神经网络在MLP和LSTM模型上的表现，发现集成方法和基于dropout的方法在满足关键不确定性期望方面表现最佳，特别是能够随预测时域增加不确定性，并使置信度与误差保持一致。

ABSTRACT

Increasingly high-stakes decisions are made using neural networks in order to make predictions. Specifically, meteorologists and hedge funds apply these techniques to time series data. When it comes to prediction, there are certain limitations for machine learning models (such as lack of expressiveness, vulnerability of domain shifts and overconfidence) which can be solved using uncertainty estimation. There is a set of expectations regarding how uncertainty should ``behave". For instance, a wider prediction horizon should lead to more uncertainty or the model's confidence should be proportional to its accuracy. In this paper, different uncertainty estimation methods are compared to forecast meteorological time series data and evaluate these expectations. The results show how each uncertainty estimation method performs on the forecasting task, which partially evaluates the robustness of predicted uncertainty.

研究动机与目标

• 评估不同不确定性量化方法在时间序列回归中满足预期行为（如随预测时域增加不确定性）的程度。
• 评估不确定性估计在不同深度学习架构（MLP与LSTM）及数据集（PM2.5和气压）下的鲁棒性。
• 识别在高风险预测应用中，能最好平衡预测准确性和可靠不确定性校准的不确定性估计技术。
• 探究当前深度学习方法是否满足不确定性常见假设，如与误差成比例、随时域增长等。

提出的方法

• 在两个环境时间序列数据集（PM2.5浓度和气压测量值）上训练前馈MLP和循环LSTM模型。
• 应用六种不确定性量化方法：基线高斯NLL损失、蒙特卡洛dropout、MC-DropConnect、Flipout、贝叶斯反向传播（BBB）以及模型集成。
• 使用均方误差（MSE）、平均绝对百分比误差（MAPE）、R²、校准误差、负对数似然（NLL）以及预测时域一致性作为评估指标。
• 通过置信度与误差图及12个未来时间步的时域不确定性趋势，评估不确定性行为。
• 将数据预处理为1小时间隔，并使用12个过去时间步预测1个未来时间步，同时将时域评估扩展至12步之后。
• 使用Adam优化器训练模型100个周期，初始初始学习率为0.001，并通过预测均值μ(x)和标准差σ(x)评估不确定性。

实验结果

研究问题

• RQ1 深度学习模型的不确定性估计是否如时间序列预测中所预期的那样，随预测时域增加而适当增加？
• RQ2 不同不确定性量化方法在置信度与实际预测误差一致性方面表现如何，如通过置信度与误差图所衡量？
• RQ3 在dropout、集成、BBB或其他方法中，哪种不确定性方法在两种数据集和模型类型上均产生最可靠且校准良好的不确定性估计？
• RQ4 循环（LSTM）与前馈（MLP）架构在生成满足特定领域期望的不确定性估计方面的能力有何差异？
• RQ5 为非时间序列数据设计的标准不确定性方法能否有效适应时间序列任务，还是它们无法捕捉不确定性行为中的序列依赖性？

主要发现

• 集成方法和蒙特卡洛dropout在两种数据集和模型架构上，始终在最小化校准误差、NLL和MAPE方面优于其他方法。
• 基线模型（高斯NLL损失）在PM2.5数据集中预测随时域增加不确定性的表现最佳，尽管在其他指标上表现不佳。
• 在气压数据集中，MLP dropout模型实现了最低的MAPE（1）和NLL（4），且最符合时域期望，表现出随预测时间增加的不确定性。
• 使用集成和dropout不确定性估计的LSTM模型在置信度与误差图中表现优异，表明其不确定性校准可靠。
• 没有单一方法在所有指标上完全满足所有期望：尽管集成和dropout整体表现最佳，但在特定情况下仍违反了某些假设。
• 模型架构的选择（MLP与LSTM）显著影响不确定性行为——非循环模型更好地捕捉了基于时域的不确定性趋势，而循环模型在置信度与误差对齐方面表现更优。