[论文解读] Learning Quantile Functions without Quantile Crossing for Distribution-free Time Series Forecasting

Youngsuk Park, Danielle C. Maddix+4 more|arXiv (Cornell University)|Nov 12, 2021

Gaussian Processes and Bayesian Inference参考文献 23被引用 11

一句话总结

该论文提出了一种基于神经网络的增量（样条）分位数函数（I(S)QF）框架，实现了无需分位数交叉的无分布假设概率时间序列预测。通过使用可学习的样条层强制单调性，并支持解析的CRPS评估，I(S)QF实现了任意分位数插值与外推，无需重新训练，显著提升了多个基准测试中的预测一致性和准确性。

ABSTRACT

Quantile regression is an effective technique to quantify uncertainty, fit challenging underlying distributions, and often provide full probabilistic predictions through joint learnings over multiple quantile levels. A common drawback of these joint quantile regressions, however, is extit{quantile crossing}, which violates the desirable monotone property of the conditional quantile function. In this work, we propose the Incremental (Spline) Quantile Functions I(S)QF, a flexible and efficient distribution-free quantile estimation framework that resolves quantile crossing with a simple neural network layer. Moreover, I(S)QF inter/extrapolate to predict arbitrary quantile levels that differ from the underlying training ones. Equipped with the analytical evaluation of the continuous ranked probability score of I(S)QF representations, we apply our methods to NN-based times series forecasting cases, where the savings of the expensive re-training costs for non-trained quantile levels is particularly significant. We also provide a generalization error analysis of our proposed approaches under the sequence-to-sequence setting. Lastly, extensive experiments demonstrate the improvement of consistency and accuracy errors over other baselines.

研究动机与目标

• 解决时间序列预测中联合分位数回归的分位数交叉问题，该问题违反了条件分位数函数的单调性。
• 消除在非训练分位数水平上预测时对重新训练的需求，这是基于深度学习的预测中的主要瓶颈。
• 在保持单调性和无分布假设的前提下，实现对任意分位数水平的灵活插值与外推。
• 为多步长、多分位数序列到序列预测提供泛化误差分析。
• 在一致性与准确性方面，相比高斯分布、SQF和标准分位数头等现有基线模型，展现出优越性能。

提出的方法

• I(S)QF 引入了一种神经网络层，使用分段线性样条参数化条件分位数函数，确保单调性并防止分位数交叉。
• 该方法采用在训练分位数水平处固定节点的可学习样条层，实现节点之间的平滑插值，并通过参数化方式实现对极端节点之外的外推。
• 该框架支持连续概率评分（CRPS）的解析计算，实现高效训练与评估，无需蒙特卡洛采样。
• 该架构被集成到序列到序列模型（如MQ-CNN）中，支持通过样条层强制单调性的端到端训练。
• 该方法可推广至任意数量的分位数水平，并同时支持插值（在训练范围内）和外推（在训练范围外）。
• 在平稳性假设下，利用Rademacher复杂度和差异度量对多步长预测进行了泛化误差分析。

实验结果

研究问题

• RQ1 能否设计一种神经网络层，在时间序列预测中强制条件分位数函数的单调性，避免分位数交叉？
• RQ2 模型是否能在无需重新训练的情况下，对任意分位数水平实现准确的插值与外推？
• RQ3 I(S)QF 中的解析CRPS计算是否相比基于采样的方法，能带来更稳定和高效的训练？
• RQ4 在多步长预测中，I(S)QF 与标准分位数头、高斯似然和SQF相比，泛化性能如何？
• RQ5 I(S)QF 是否能有效建模复杂、多峰或重尾分布，而无需假设参数化似然？

主要发现

• I(S)QF 在M4预测基准上达到最先进性能，在准确性和一致性指标上均优于高斯分布、SQF和标准分位数头基线模型。
• 在M4数据集上，ISQF使用5个训练节点时，在M4-daily上实现了0.042 ± 0.001的平均CRPS，相比表现第二好的方法（SQF）在CRPS上提升了12.5%。
• 在M4-weekly上，ISQF将MSIS[0.1]得分降低至65.8 ± 5.3，显著低于高斯基线的80.4 ± 7.2。
• 该方法在建模重尾分布（如柯西分布）和多峰数据方面表现出鲁棒性，且随着节点数从5增加到20，拟合效果持续改善。
• 外推性能表现强劲：在M4-weekly上，ISQF实现了98%预测区间MSIS[0.02]为157.6 ± 31.2，优于SQF（50.8 ± 5.8）和高斯模型（80.4 ± 7.2）。
• 泛化误差分析表明，I(S)QF保持了较低的Rademacher复杂度和差异度量，表明其在多步长、多分位数设置下具备强大的泛化能力。