[论文解读] Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting

Long-yuan Li, Junchi Yan+2 more|arXiv (Cornell University)|Jan 31, 2021

Time Series Analysis and Forecasting参考文献 23被引用 7

一句话总结

该论文提出了一种用于概率时间序列预测的深度状态空间模型（DSSMF），通过神经网络建模非线性观测和转移动态，利用自动相关性确定（ARD）网络结合不确定性感知的特征选择来引入外生变量，并通过蒙特卡洛采样生成多步预测。该模型生成的预测结果具有高精度且不确定性校准良好，且不确定性随时间自然增加，能有效识别相关外部因素。

ABSTRACT

Probabilistic time series forecasting involves estimating the distribution of future based on its history, which is essential for risk management in downstream decision-making. We propose a deep state space model for probabilistic time series forecasting whereby the non-linear emission model and transition model are parameterized by networks and the dependency is modeled by recurrent neural nets. We take the automatic relevance determination (ARD) view and devise a network to exploit the exogenous variables in addition to time series. In particular, our ARD network can incorporate the uncertainty of the exogenous variables and eventually helps identify useful exogenous variables and suppress those irrelevant for forecasting. The distribution of multi-step ahead forecasts are approximated by Monte Carlo simulation. We show in experiments that our model produces accurate and sharp probabilistic forecasts. The estimated uncertainty of our forecasting also realistically increases over time, in a spontaneous manner.

研究动机与目标

• 开发一种深度状态空间模型，实现灵活的非线性观测和转移动态建模，支持概率时间序列预测。
• 通过自动相关性确定（ARD）网络识别关键外生变量，提升模型可解释性。
• 通过在外生变量特征选择中建模不确定性，提升模型鲁棒性。
• 利用蒙特卡洛模拟生成准确且高精度的多步概率预测。
• 确保预测不确定性随时间自然增加，真实反映长期预测中的风险传播。

提出的方法

• 使用深度神经网络参数化状态空间模型的观测和转移模型，以捕捉时间序列数据中的复杂非线性依赖关系。
• 采用循环神经网络（RNN）建模时间步之间的时序依赖性。
• 引入ARD网络，估计外生变量对预测任务的相关性，实现自动特征选择。
• 通过蒙特卡洛采样建模外生变量中的不确定性，提升变量相关性估计的鲁棒性。
• 利用蒙特卡洛模拟近似多步预测的完整预测分布。
• 采用重参数化变分推断方法，实现深度生成模型的可训练性。

实验结果

研究问题

• RQ1 使用神经网络参数化的深度状态空间模型是否能在真实世界时间序列数据上实现准确且高精度的概率预测？
• RQ2 基于ARD的网络在抑制无关或噪声变量的同时，能否有效识别相关外生变量？
• RQ3 在外生变量中建模不确定性是否能提升特征选择的鲁棒性和可解释性？
• RQ4 该模型是否能自然地随时间增加预测不确定性，而无需显式校准？
• RQ5 与标准基线方法相比，引入不确定性感知的外生变量选择对预测精度有何影响？

主要发现

• 所提出的DSSMF模型在公开基准数据集（包括GEFCom2014和北京PM2.5数据集）上的概率预测精度优于当前最先进方法。
• 该模型的预测不确定性随预测时域自然增加，真实反映了风险传播，无需人工调参。
• ARD网络成功识别出相关外生变量（如一天中的小时、工作日、特定气象站的温度等），同时为故意添加的噪声变量分配了较低的相关性。
• 在电力价格预测中，模型识别出区域负荷和系统总负荷为关键需求指标，与领域知识一致。
• 在PM2.5预测中，模型正确识别出风向和风速为相关因素，支持污染受区域气流影响的假设。
• 由于对外生输入采用不确定性感知建模，该模型在预测期内气象数据不准确时仍能保持高预测精度，表现出强鲁棒性。