[論文レビュー] Dynamic Graph Learning-Neural Network for Multivariate Time Series Modeling

Zhuoling Li, Gaowei Zhang+2 more|arXiv (Cornell University)|Dec 6, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、データから静的（長期的）および動的（短期的）なグラフ構造を学習する、動的グラフ学習ニューラルネットワークであるSDGLを提案する。ノード特徴量とゲーティング機構を用いた学習済み静的グラフを統合し、マルチヘッド隣接モジュールを用いることで、変化する空間時系列的依存関係を捉える。交通データおよびベンチマーク時系列データセットにおいて、最先端の性能を達成する。

ABSTRACT

Multivariate time series forecasting is a challenging task because the data involves a mixture of long- and short-term patterns, with dynamic spatio-temporal dependencies among variables. Existing graph neural networks (GNN) typically model multivariate relationships with a pre-defined spatial graph or learned fixed adjacency graph. It limits the application of GNN and fails to handle the above challenges. In this paper, we propose a novel framework, namely static- and dynamic-graph learning-neural network (SDGL). The model acquires static and dynamic graph matrices from data to model long- and short-term patterns respectively. Static matric is developed to capture the fixed long-term association pattern via node embeddings, and we leverage graph regularity for controlling the quality of the learned static graph. To capture dynamic dependencies among variables, we propose dynamic graphs learning method to generate time-varying matrices based on changing node features and static node embeddings. And in the method, we integrate the learned static graph information as inductive bias to construct dynamic graphs and local spatio-temporal patterns better. Extensive experiments are conducted on two traffic datasets with extra structural information and four time series datasets, which show that our approach achieves state-of-the-art performance on almost all datasets. If the paper is accepted, I will open the source code on github.

研究の動機と目的

• 多変量時系列における長期的および短期的パターンの混合を効果的にモデル化する課題に対処すること。
• 従来のGNNで見られる固定または事前定義されたグラフの限界を克服し、動的依存関係を捉えること。
• 変数間の安定した長期的関係と時間的に変化する短期的相互作用を両方学習するフレームワークの開発。
• 静的グラフ構造を動的グラフ学習にインダクティブバイアスとして統合し、局所的な空間時系列的変化のモデル化を改善すること。
• 現実世界の多変量時系列において事前グラフ構造に依存せずに優れた予測性能を達成すること。

提案手法

• ノード埋め込みから静的グラフ行列を学習し、固定された長期的依存関係を捉える。グラフ正則化を用いて構造的品質を保証する。
• 時間変動するノード特徴量と静的グラフ埋め込みを用いて動的グラフを構築し、短期的相互作用の時間変動モデル化を可能にする。
• ゲーティング機構を用いて動的ノード入力と静的グラフ情報の統合を行い、変化する依存関係の表現学習を強化する。
• マルチヘッド隣接機構を用いて、動的グラフ内の変数間の関連性を効率的に抽出・モデル化する。
• 静的グラフ構造を動的グラフ学習にインダクティブバイアスとして統合し、動的グラフが長期的パターンの周囲を変動させることを保証する。
• グラフ正則化を適用し、トレーニング中に学習された静的グラフの安定性と品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多変量時系列モデルは、長期的および短期的時間的パターンを効果的に捉えることができるか？
• RQ2 変数間の関係が時間とともに変化する場合、動的グラフ学習は予測精度を向上させることができるか？
• RQ3 静的グラフ構造をインダクティブバイアスとして組み込むことで、動的依存関係の学習はどのように向上するか？
• RQ4 各モジュール（例：動的グラフ学習、情報統合、正則化）の貢献度は、全体のモデル性能にどのように寄与するか？
• RQ5 事前定義または手作業で作成されたグラフ構造に依存せずに、グラフ学習フレームワークが最先端の結果を達成できるか？

主な発見

• SDGLは、交通データセット（PeMSD4およびPeMSD8）および4つのベンチマーク時系列データセットにおいて、ほとんどの場合で既存手法を上回る最先端の性能を達成する。
• アブレーションスタディの結果、動的グラフ学習レイヤーを削除すると、特に長時間予測（例：60分予測）において顕著な性能低下が見られた。
• 情報統合モジュール（IFM）は極めて重要である。動的入力のみを用いた場合、性能が著しく低下し、長期的パターンの統合の重要性が浮き彫りになる。
• グラフ正則化は静的グラフの品質を向上させるが、正則化なしのSDGLでさえAGCNRなどの強力なベースラインを上回るなど、フレームワークの本質的な頑健性が示された。
• 可視化結果から、動的グラフは事前定義されたグラフ構造に近い短期的パターンを学習しており、異なる時間点で類似した高重みエッジが出現していることが確認された。
• 動的グラフ行列は短い時間スパンにおいて高い類似性を示しており、モデルが徐々に変化する安定した短期的依存関係を捉えていることが裏付けられた。