[论文解读] A Self-supervised Approach to Hierarchical Forecasting with Applications to Groupwise Synthetic Controls

Konstantin Mishchenko, Mallory Montgomery+1 more|arXiv (Cornell University)|Jun 25, 2019

Forecasting Techniques and Applications被引用 7

一句话总结

本文提出一种自监督学习方法，将分层一致性的约束直接整合进时间序列预测的最大似然训练目标中，采用可微分损失函数以确保分层结构中各层级的一致性。通过联合优化预测结果与分层校正，该方法显著提升了测试准确率——在父节点上将MSE降低至原先的1/3.5以内——同时生成能准确反映校正不确定性影响的置信区间，优于当前最先进的事后校正（HTS）方法。

ABSTRACT

When forecasting time series with a hierarchical structure, the existing state of the art is to forecast each time series independently, and, in a post-treatment step, to reconcile the time series in a way that respects the hierarchy (Hyndman et al., 2011; Wickramasuriya et al., 2018). We propose a new loss function that can be incorporated into any maximum likelihood objective with hierarchical data, resulting in reconciled estimates with confidence intervals that correctly account for additional uncertainty due to imperfect reconciliation. We evaluate our method using a non-linear model and synthetic data on a counterfactual forecasting problem, where we have access to the ground truth and contemporaneous covariates, and show that we largely improve over the existing state-of-the-art method.

研究动机与目标

• 解决独立预测与事后校正在分层时间序列中导致的预测不一致与置信区间不可靠的问题。
• 开发一种可微分的校正损失函数，可无缝集成至任意分层数据的最大似然目标函数中。
• 通过在模型训练中利用层级结构约束，提升预测准确率与不确定性量化能力。
• 在可访问真实值与同期协变量的反事实预测场景中评估该方法。
• 证明校正过程可作为正则化项，降低非线性模型在标注数据有限时的泛化误差。

提出的方法

• 该方法提出一种自监督校正损失，用于在模型训练过程中惩罚对分层一致性的偏离。
• 损失函数定义为子节点预测值与其父节点预测值之间平方差之和，由超参数λ进行缩放。
• 将校正损失添加至标准最大似然目标函数中，实现预测与校正的端到端联合优化。
• 该方法应用于单隐藏层与ReLU激活函数的多层感知机（MLP）模型，在合成分层时间序列数据上进行训练。
• 该方法既适用于纯预测任务，也适用于反事实预测任务，适用于任何具备最大似然目标函数的模型。
• 实证表明，校正损失可诱导出一种归纳偏差，促使模型趋向更简单、更具泛化能力的解，从而降低测试误差。

实验结果

研究问题

• RQ1 与独立预测和事后校正相比，自监督校正损失是否能提升分层时间序列的预测准确率？
• RQ2 将校正过程整合进训练目标，如何影响不确定性估计与置信区间覆盖性能？
• RQ3 在标注数据有限的非线性模型中，校正损失在多大程度上起到正则化作用？
• RQ4 该方法是否在降低测试误差的同时，仍能保持分层一致性，优于HTS方法？
• RQ5 λ（校正强度）的选择如何影响训练误差与测试误差之间的权衡？

主要发现

• 与未校正基线相比，所提方法在父节点（y₁）上的测试集均方误差（MSE）最高可降低3.5倍，显著提升预测准确率。
• 尽管校正损失在高层节点（如y₁、y₂、y₃）上对测试误差的降低效果更为显著，表明在粗粒度层级上具有更强的正则化效应。
• 尽管训练MSE因校正惩罚项而增加约4倍，但模型泛化性能更优，证明校正过程可作为有效的正则化手段。
• 该方法生成的置信区间能正确反映校正过程带来的不确定性，避免在多重假设检验中进行事后调整。
• HTS可将校正误差降至接近零，但对测试准确率的提升微乎其微；而所提方法在实现更低测试误差的同时，也保持了更优的分层一致性。
• 当协变量具有较强信息量且层级结构具有实际意义（如按规模或行业划分）时，性能提升最为显著，而非随机构建的层级结构。