[論文レビュー] A Self-supervised Approach to Hierarchical Forecasting with Applications to Groupwise Synthetic Controls

Konstantin Mishchenko, Mallory Montgomery+1 more|arXiv (Cornell University)|Jun 25, 2019

Forecasting Techniques and Applications被引用数 7

ひとこと要約

本稿では、時系列予測のための最大尤度訓練目的に階層的整合性を直接統合する自己教師あり学習アプローチを提案する。微分可能な損失関数を用いて階層の各レベル間で整合性を強制する。予測と再統合を同時に最適化することで、テスト精度が向上し、親ノードにおいてMSEが最大3.5倍まで低減される。また、再統合の不確実性を適切に反映した信頼区間を生成し、最先端の後処理再統合（HTS）手法を上回る性能を発揮する。

ABSTRACT

When forecasting time series with a hierarchical structure, the existing state of the art is to forecast each time series independently, and, in a post-treatment step, to reconcile the time series in a way that respects the hierarchy (Hyndman et al., 2011; Wickramasuriya et al., 2018). We propose a new loss function that can be incorporated into any maximum likelihood objective with hierarchical data, resulting in reconciled estimates with confidence intervals that correctly account for additional uncertainty due to imperfect reconciliation. We evaluate our method using a non-linear model and synthetic data on a counterfactual forecasting problem, where we have access to the ground truth and contemporaneous covariates, and show that we largely improve over the existing state-of-the-art method.

研究の動機と目的

• 階層的時系列における独立予測と後処理再統合の限界を解消すること。これには、整合性のとれない予測や信頼性の低い信頼区間が含まれる。
• 任意の最大尤度目的関数に統合可能な微分可能な再統合損失関数の開発。
• モデルの訓練中に階層の構造的制約を活用することで、予測精度と不確実性の定量化を向上させること。
• 真値と同時期の共変数が利用可能な反事後的予測設定において、本手法の評価。
• 再統合が非線形モデルにおける一般化誤差を低減する正則化子として機能することの実証。

提案手法

• 本手法は、モデル訓練中に階層的整合性の逸脱をペナルティ化する自己教師あり再統合損失を導入する。
• 損失関数は、子ノードの予測とその親ノードの予測との二乗差の和として定義され、ハイパーパrameter λ でスケーリングされる。
• 再統合損失は標準的な最大尤度目的関数に加算され、予測と再統合のエンドツーエンド最適化が可能になる。
• 本手法は、1層の隠れ層とReLU活性化関数を備えた多層パーセプトロン（MLP）に適用され、合成された階層的時系列データ上で訓練される。
• 本手法は、純粋な予測と反事後的予測の両方に対応可能であり、最大尤度目的関数を持つ任意のモデルに適用可能である。
• 再統合損失が、より単純で一般化性の高い解へと帰納的バイアスを誘導し、テスト誤差を低減することを示している。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり再統合損失は、独立予測と後処理再統合と比較して、階層的時系列の予測精度を向上させるか？
• RQ2 再統合を訓練目的に統合することで、不確実性推定と信頼区間カバレッジにどのような影響を与えるか？
• RQ3 再統合損失は、ラベル付きデータが限られた非線形モデルにおいて、どの程度正則化子として機能するか？
• RQ4 本手法は、再統合の整合性を保ちながら、HTSを上回るテスト誤差低減を達成するか？
• RQ5 再統合強度（λ）の選択が、訓練誤差とテスト誤差のトレードオフに与える影響はいかほどか？

主な発見

• 提案手法は、再統合なしのベースラインと比較して、親ノード（y₁）におけるテストセットの平均二乗誤差（MSE）を最大3.5倍まで低減し、顕著な精度向上を示した。
• 再統合損失は、より高いレベルのノード（例：y₁, y₂, y₃）において、テスト誤差を下げる効果が顕著に強く、粗い粒度での正則化効果が強いことを示している。
• 再統合ペナルティにより訓練MSEが4倍に増加したにもかかわらず、一般化性能が向上した。再統合が効果的な正則化子として機能していることを示している。
• 本手法は、再統合の不確実性を適切に反映した信頼区間を生成し、多重仮説検定における事後調整の必要性を回避した。
• HTSは再統合誤差をほぼゼロにまで低減するが、テスト精度の向上は限定的である。一方、本手法はより低いテスト誤差とより良い整合性を両立させた。
• 共変数が情報が多く、階層が意味的に明確に構造化されている場合（例：規模や業界による区分）、その効果が顕著に現れる（恣意的な区分とは対照的）。