[論文レビュー] Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting

Andrea Cini, Danilo P. Mandic+1 more|arXiv (Cornell University)|May 30, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

本稿では、階層的および関係的インダクティブバイアスを統合するグラフベースのディーブラーニングフレームワーク、Hierarchical Graph Predictor (HiGP) を提案する。階層構造をピラミッド型グラフとしてモデル化し、学習可能なグラフプーリングを用いることで、予測の一貫性を微分可能で再統合可能なレイヤーによって保証しながら、データから直接クラスタ割り当てを学習する。このアプローチにより、ベンチマークデータセットで最先端の予測精度を達成した。

ABSTRACT

Relationships among time series can be exploited as inductive biases in learning effective forecasting models. In hierarchical time series, relationships among subsets of sequences induce hard constraints (hierarchical inductive biases) on the predicted values. In this paper, we propose a graph-based methodology to unify relational and hierarchical inductive biases in the context of deep learning for time series forecasting. In particular, we model both types of relationships as dependencies in a pyramidal graph structure, with each pyramidal layer corresponding to a level of the hierarchy. By exploiting modern - trainable - graph pooling operators we show that the hierarchical structure, if not available as a prior, can be learned directly from data, thus obtaining cluster assignments aligned with the forecasting objective. A differentiable reconciliation stage is incorporated into the processing architecture, allowing hierarchical constraints to act both as an architectural bias as well as a regularization element for predictions. Simulation results on representative datasets show that the proposed method compares favorably against the state of the art.

研究の動機と目的

• 時系列予測のためのディーブラーニングにおいて、関係的および階層的インダクティブバイアスを統合すること。
• 事前に定義された階層に依存せずに、グラフプーリングを用いてデータから階層的クラスタ割り当てを直接学習すること。
• 微分可能で再統合可能なレイヤーを介して、階層的制約をアーキテクチャのバイアスおよび正則化として統合すること。
• マルチレベルの階層的時系列ベンチマークで最先端の予測パフォーマンスを達成すること。
• 実世界のデータセットにおいて、意味的で予測最適化されたクラスタを自己教師付きで学習できることを示すこと。

提案手法

• 時系列の関係性を重み付き隣接行列としてモデル化し、静的で属性付きのグラフ構造を構築すること。
• 階層のレベルをグラフ内のピラミッド型レイヤーとして表現し、各レイヤーが集約のレベルに対応すること。
• 学習可能なグラフプーリング演算子を適用し、エンドツーエンドでノードのクラスタリングおよび階層的表現を学習すること。
• 階層的レベル間での予測の一貫性を保証する微分可能で再統合可能なレイヤーを統合すること。
• マルチレベルの予測損失を用いて、クラスタ割り当てと予測精度を同時に最適化すること。
• 学習の目的関数を、グラフのトポロジーで正則化された各階層レベルにおける予測誤差の最小化として定式化すること。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークを用いて、事前に定義されたものではなく、データから階層的制約をエンドツーエンドで学習できるか？
• RQ2 関係的インダクティブバイアスと階層的インダクティブバイアスを組み合わせることで、予測性能がどのように向上するか？
• RQ3 グラフプーリング演算子は、予測の目的に整合する意味のあるクラスタ割り当てを効果的に学習できるか？
• RQ4 微分可能で再統合可能なレイヤーは、階層的予測において予測精度をどの程度向上させるか？
• RQ5 提案されたフレームワークは、解釈可能な時系列クラスタを自己教師付きで学習するための有効な手法とみなせるか？

主な発見

• HiGPは、METR-LA および PEMS-BAY データセットで最先端の予測精度を達成し、DCRNN や GWNet といった特化型モデルを上回った。
• METR-LA では、HiGP (T) が MAE@15 で 2.68 ± 0.01 を達成し、2番目に良いモデル SGP（2.69 ± 0.00）を上回った。
• PEMS-BAY では、HiGP (T) が MAE@15 で 1.31 ± 0.00 を達成し、最良のベースライン SGP と同等の性能を示した。
• CER-E および AQI データセットでは、HiGP が意味的で明確な階層的クラスタ割り当てを学習し、各レベルで異なる時間的ダイナミクスを示した。
• 予測誤差を最小化するエンドツーエンドの学習により、クラスタ割り当てが最適化され、集約値が予測しやすくなった。
• 微分可能で再統合可能なレイヤーにより、階層的レベル間での予測の一貫性が保証され、正則化の役割も果たした。