[論文レビュー] Simultaneously Reconciled Quantile Forecasting of Hierarchically Related Time Series

Xing Han, Sambarta Dasgupta+1 more|arXiv (Cornell University)|Feb 25, 2021

Forecasting Techniques and Applications参考文献 33被引用数 6

ひとこと要約

本稿では、微分可能で正則化を施した分位数回帰損失を用いて、深層学習モデルの学習プロセスに階層的整合性制約を直接統合することで、階層的に関連する時系列における同時に整合性のある分位数予測を実現する新規フレームワークSHARQを提案する。この手法は、計算コストの高い行列逆演算を回避しつつ、非ガウス分布のノイズやバイアスのある推定器が存在する状況下でも、最先端の手法を上回る高い予測精度と整合性を達成する。

ABSTRACT

Many real-life applications involve simultaneously forecasting multiple time series that are hierarchically related via aggregation or disaggregation operations. For instance, commercial organizations often want to forecast inventories simultaneously at store, city, and state levels for resource planning purposes. In such applications, it is important that the forecasts, in addition to being reasonably accurate, are also consistent w.r.t one another. Although forecasting such hierarchical time series has been pursued by economists and data scientists, the current state-of-the-art models use strong assumptions, e.g., all forecasts being unbiased estimates, noise distribution being Gaussian. Besides, state-of-the-art models have not harnessed the power of modern nonlinear models, especially ones based on deep learning. In this paper, we propose using a flexible nonlinear model that optimizes quantile regression loss coupled with suitable regularization terms to maintain the consistency of forecasts across hierarchies. The theoretical framework introduced herein can be applied to any forecasting model with an underlying differentiable loss function. A proof of optimality of our proposed method is also provided. Simulation studies over a range of datasets highlight the efficacy of our approach.

研究の動機と目的

• ベースモデルが不偏性やガウス分布ノイズの強い仮定を満たさない状況下でも、階層的に関連する時系列の全範囲にわたって正確で整合性のある確率的予測を生成するという課題に対処すること。
• 後処理による整合化の必要性を排除し、深層学習モデルの学習プロセスに階層的整合性を直接埋め込むこと。
• 任意の微分可能予測モデルと分位数損失関数をサポートする柔軟で微分可能なフレームワークを構築し、エンドツーエンド最適化を可能にすること。
• MinT や ERM に基づく整合化手法で一般的に見られる行列逆演算を回避することで、推論時の計算複雑度を低減すること。
• ノイズ分布が非ガウス的で、ベース予測がバイアスを有する現実世界の設定において、従来の整合化手法が著しく性能を発揮できない状況でも、そのロバスト性を向上させること。

提案手法

• 階層的正則化項を組み込んだ微分可能な目的関数を用い、階層の全レベルにわたる集計整合性を強制する。
• 下位から上位への学習を実施し、隣接するレベルのモデルパラメータを同時に更新しながら、構造化された正則化スキームにより整合性制約を維持する。
• 正則化強度はレベルごとに調整され、ハイパーパrameter λ_i を用い、上位の集計レベルでは誤差伝搬のリスクが低いため、より小さい値が適用される。
• 本フレームワークは汎用的であり、微分可能な損失関数を持つ任意の予測モデルに適用可能で、RNN や Transformer などの現代的な深層学習アーキテクチャとも統合可能である。
• 下位レベルの予測値の和が親ノードの予測値に一致するという制約を、ペナルティ項を用いて強制する、制約付き最適化問題として整合化を定式化する。
• MinT や ERM と同様に推論時に行列逆演算を実行せず、エンドツーエンドで整合性のある予測を学習することで、計算オーバーヘッドを顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 後処理による整合化に依存せずに、階層的時系列の全範囲にわたって正確で整合性のある予測を同時に生成できる深層学習ベースの予測モデルを学習可能か？
• RQ2 階層的整合性を微分可能な正則化項として組み込むことで、非ガウス分布ノイズやバイアスのあるベース予測のもとで、予測精度と整合性にどのような影響を与えるか？
• RQ3 MinT や ERM といった最先端の整合化手法と比較して、本手法は推論の複雑度をどの程度低減するか？
• RQ4 手動での損失関数選択を必要とせず、ノイズ特性や階層構造が異なる多様な時系列に一般化可能か？
• RQ5 減少する λ_i 値を用いたレベルごとの正則化戦略は、集計レベル間での誤差伝搬と予測整合性にどのような影響を及ぼすか？

主な発見

• SHARQ は、正則化なしのベースモデル（SHARQ without regularization）と比較して、著しく低い整合性損失を達成しており、すべてのデータセットと予測モデルで整合性損失が顕著に低下している。
• M5 コンペティションデータセット（42,840 個の時系列）において、レベル 4（最下位レベル）で CRPS 0.135 を達成し、MinT-ols（0.162）と ERM（0.172）を上回り、優れた精度と整合性を示した。
• トップレベル（レベル 1）では CRPS 0.067 を達成し、MinT-ols（0.086）と ERM（0.098）を顕著に下回り、集計レベルでも優れた性能を発揮している。
• 行列逆演算を回避することで推論の複雑度を低減し、数十万本の時系列を含む産業用途にもスケーラブルである。
• 実験結果から、SHARQ は非ガウス分布ノイズやバイアスのあるベース予測の下でも、従来の手法（MinT や ERM）が著しく性能を低下させる状況においても、安定した性能を維持している。
• 減少する λ_i 値を用いたレベルごとの正則化戦略は、上位の集計レベルでの誤差蓄積を効果的に抑制し、全体の予測信頼性を向上させた。