[论文解读] MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting

Bernardo Pérez Orozco, Gabriele Abbati+1 more|arXiv (Cornell University)|Mar 26, 2018

Gaussian Processes and Bayesian Inference参考文献 13被引用 9

一句话总结

该论文提出 MOrdReD，一种基于记忆的序数回归深度神经网络，用于时间序列预测。通过量化将回归问题转化为序列分类任务。利用循环神经网络架构与端到端训练，能够建模复杂、多模态、非高斯的预测分布，具备高不确定性校准能力与可扩展性，在 45 个多样化数据集上，于长时 forecasting horizon 下表现优于最先进模型，包括高斯过程模型。

ABSTRACT

Time series forecasting is ubiquitous in the modern world. Applications range from health care to astronomy, and include climate modelling, financial trading and monitoring of critical engineering equipment. To offer value over this range of activities, models must not only provide accurate forecasts, but also quantify and adjust their uncertainty over time. In this work, we directly tackle this task with a novel, fully end-to-end deep learning method for time series forecasting. By recasting time series forecasting as an ordinal regression task, we develop a principled methodology to assess long-term predictive uncertainty and describe rich multimodal, non-Gaussian behaviour, which arises regularly in applied settings. Notably, our framework is a wholly general-purpose approach that requires little to no user intervention to be used. We showcase this key feature in a large-scale benchmark test with 45 datasets drawn from both, a wide range of real-world application domains, as well as a comprehensive list of synthetic maps. This wide comparison encompasses state-of-the-art methods in both the Machine Learning and Statistics modelling literature, such as the Gaussian Process. We find that our approach does not only provide excellent predictive forecasts, shadowing true future values, but also allows us to infer valuable information, such as the predictive distribution of the occurrence of critical events of interest, accurately and reliably even over long time horizons.

研究动机与目标

• 解决基于深度学习的时间序列预测中缺乏可靠不确定性量化的问题，尤其是在长期预测中。
• 克服高斯过程模型在捕捉复杂、非高斯预测分布时的局限性，如严格的正态性假设与可扩展性差的问题。
• 开发一种完全端到端、可扩展的深度学习框架，最大限度减少人工干预，实现模型设计与适配的自动化。
• 实现高精度的长期预测，提供校准的概率预测，包括关键事件发生概率的推断能力。
• 在涵盖混沌与非平稳动力学的多样化真实世界与合成时间序列中，验证方法的泛化能力。

提出的方法

• 通过将未来离散值进行量化，将时间序列预测重构为序数（自）回归问题。
• 采用带有记忆机制的循环神经网络（RNN）架构，以建模时间依赖性与长期上下文信息。
• 使用序数类别上的交叉熵损失进行端到端训练，实现对预测分布的直接学习。
• 利用预测类别概率重建完整的预测分布，从而支持多模态与非高斯行为的建模。
• 引入基于记忆的组件，以保留长期上下文信息，提升在多样化时间序列模式下的泛化能力。
• 应用校准技术以确保不确定性估计的可靠性，通过预测区间覆盖率与可靠性图进行验证。

实验结果

研究问题

• RQ1 深度学习框架能否有效建模具有丰富多模态、非高斯预测分布的长期时间序列预测？
• RQ2 所提出的序数回归方法在不确定性校准与预测准确性方面，相较于高斯过程及其他最先进模型表现如何？
• RQ3 该方法在无需专家调优超参数或核函数设计的情况下，能在多大程度上实现跨多样化时间序列领域的泛化？
• RQ4 在安全关键应用中，模型能否可靠估计关键事件（如极端值或系统故障）的发生概率？
• RQ5 基于记忆的架构是否相比标准 RNN 或序列到序列模型，能显著提升长时 forecasting horizon 下的预测性能？

主要发现

• MOreD 在 45 个多样化时间序列数据集上，相较于最先进模型（包括高斯过程与贝叶斯神经网络），在预测准确性、不确定性校准与可靠性指标方面均表现更优。
• 即使在混沌系统（如 Lorenz 映射）的长时 forecasting horizon（例如 P_h = 1000）下，模型在所有评估指标上仍保持顶尖表现，包括覆盖率与锐度。
• MOreD 有效捕捉了多模态预测分布，例如在心电图数据中，其他模型无法准确建模复杂非高斯形状，而 MOrdReD 表现优异。
• 在心内科与气象学等安全关键领域，该方法通过提供可靠的信心区间，展现出对关键事件预测的稳健性。
• 尽管在大多数情况下优于基线模型，MOreD 在 Lorenz 映射上仍表现具有竞争力，其中 GP+GMM 略胜一筹，因其对极端动态的处理更优。
• 在所有任务与指标中，该框架始终位列第一或第二，且在任何一次评估中，被所有其他模型同时超越的可能性极低。