[論文レビュー] Multivariate Time Series Forecasting Based on Causal Inference with Transfer Entropy and Graph Neural Network.

Haoyan Xu, Yida Huang+3 more|arXiv (Cornell University)|May 3, 2020

Time Series Analysis and Forecasting参考文献 10被引用数 17

ひとこと要約

本稿では、多変量時系列（MTS）変数間の因果関係をモデル化するために推移エントロピー（TE）を統合し、予測にグラフニューラルネットワーク（GNN）を用いるエンドツーエンドのディーブラーニングモデル、TEGNNを提案する。TEに基づくグラフを因果的依存関係を表すために構築し、時間的特徴抽出にマルチスケールCNNを適用することで、3つの実世界のMTSベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, a novel end-to-end deep learning model, termed graph neural network with transfer entropy (TEGNN) is proposed in this paper. To characterize the causal information among variables, the transfer entropy (TE) graph is introduced in our model, where each variable is regarded as a graph node and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, graph neural network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed TEGNN and the comprehensive experiments show that the proposed method achieves state-of-the-art results in MTS forecasting task.

研究の動機と目的

• 既存のMTS予測手法が、すべての変数が互いに影響し合うと仮定している点の制限を解決すること。
• 推移エントロピー（TE）を用いて、多変量時系列変数間の真の因果的依存関係をモデル化し、因果グラフを構築すること。
• 時間的特徴と因果的グラフ構造の両方を活用した、予測精度の向上を図るエンドツーエンドのディープラーニングフレームワークを開発すること。
• 提案手法を実世界のMTSデータセット上で評価し、既存の最先端手法を上回ることを示すこと。

提案手法

• 各変数をノードとし、各エッジが1つの変数から別の変数への因果的影響を表す推移エントロピー（TE）グラフを構築する。
• 複数の受容場所を持つ畳み込みニューラルネットワーク（CNN）フィルタを用いて、各時系列変数からのマルチスケール時間的特徴を抽出する。
• グラフ内の各ノードを抽出された時間的特徴で表現し、GNN用のノード特徴行列を構築する。
• TEに基づくグラフ構造を基に、情報の伝搬と集約をGNNで行い、予測を行う。
• 将来の時系列ステップにおける予測誤差を最小化するため、教師あり損失関数を用いて、モデル全体をエンドツーエンドで学習する。
• 因果構造（TEを介して）と時間的ダイナミクス（マルチスケールCNNを介して）を統合した、MTS予測のための統一されたディープラーニングフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 対称的または完全な相互依存性を仮定する手法と比較して、多変量時系列変数間の因果関係をモデル化することで、予測精度が向上するか？
• RQ2 実世界のデータセットにおいて、推移エントロピーは時系列変数間の意味のある因果的依存関係を特定するのにどの程度有効か？
• RQ3 TEに基づくグラフ構造を統合することで、MTS予測におけるGNNの性能はどの程度向上するか？
• RQ4 提案されたTEGNNモデルは、多様な実世界のMTSベンチマークで、既存の最先端手法を上回るか？

主な発見

• 提案されたTEGNNモデルは、3つの実世界の多変量時系列予測ベンチマークで最先端の性能を達成した。
• 因果構造を無視する手法と比較して、推移エントロピーを用いて因果関係をモデル化することで、より正確な予測が可能になった。
• マルチスケールCNNフィルタの使用により、時間的特徴表現が向上し、モデルの一般化性能の向上に寄与した。
• GNNは因果グラフ構造を効果的に活用して、変数間で関連する情報を伝搬させ、予測性能の向上に貢献した。