[論文レビュー] Multivariate Time Series Forecasting with Transfer Entropy Graph

Ziheng Duan, Haoyan Xu+3 more|arXiv (Cornell University)|May 3, 2020

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、非線形因果関係を明示的にモデル化することで、最先端の性能を達成する、マルチ変数時系列予測のためのエンドツーエンドのディーブラーニングモデルCauGNNを提案する。このモデルは、因果グラフを構築するために推移エントロピー（TE）を統合し、マルチスケールCNNを用いたGNNによる特徴抽出を実施する。ベンチマークデータセット上で、既存のモデルを上回る性能を発揮する。

ABSTRACT

Multivariate time series (MTS) forecasting is an essential problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, we propose a novel end-to-end deep learning model, termed graph neural network with Neural Granger Causality (CauGNN) in this paper. To characterize the causal information among variables, we introduce the Neural Granger Causality graph in our model. Each variable is regarded as a graph node, and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, Graph Neural Network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed CauGNN. The comprehensive experiments show that the proposed method achieves state-of-the-art results in the MTS forecasting task.

研究の動機と目的

• 既存のマルチ変数時系列予測モデルが、すべての変数が互いに影響し合うと仮定している点の制限を是正すること。
• 推移エントロピー（TE）を事前知識として用いて、時系列変数間の非線形因果的依存関係を組み込むこと。
• グラフ構造と因果的情報を活用した、予測精度の向上を図るエンドツーエンドのディーブラーニングフレームワークの開発。
• 提案手法の有効性を、実世界のベンチマークデータセット上で検証すること。

提案手法

• マルチ変数時系列変数間の非線形因果関係をモデル化するため、推移エントロピー（TE）を用いてニューラルグラングラッジャー因果グラフを構築する。
• 各時系列変数をグラフのノードとして表現し、ペアワイズのTE値で重み付けされたエッジを用いて隣接行列を構築する。
• 各ノードの生時系列データから、時間的特徴を抽出するためのマルチスケール1次元畳み込みニューラルネットワーク（CNN）フィルタを適用する。
• グラフニューラルネットワーク（GNN）を用いて、因果グラフ全体で特徴を統合・伝搬させる。
• RAEおよびMAEを含む損失関数を用いて、バックプロパゲーションによるエンドツーエンドの学習を実施する。
• 変数選択モジュールにおいて正則化およびグループLassoを統合し、重要な因果変数を同定する。

実験結果

リサーチクエスチョン

• RQ1 推移エントロピーは、マルチ変数時系列変数間の非線形因果関係を、予測の文脈で効果的に捉えることができるか？
• RQ2 完全接続性を仮定するモデルと比較して、TEに基づく因果グラフを組み込むことで、予測性能がどのように向上するか？
• RQ3 マルチスケールCNNは、グラフベースの予測において、意味のある時間的特徴を抽出するために果たす貢献は何か？
• RQ4 CauGNNモデルは、多様なデータセットおよび予測ホライズンにおいて、ハイパーパrameterの選択に対してどれほど頑健か？
• RQ5 CNNまたは因果グラフ部を削除すると、モデル性能はどの程度低下するか？

主な発見

• CauGNNは、3つの実世界ベンチマークデータセットにおいて、すべての最先端ベースラインを上回り、RAE、MAE、CORR指標の観点で最高の結果を達成した。
• アブレーションスタディの結果、CNN部を削除した場合（CauGNN-nCNN）に顕著な性能低下が生じ、特徴抽出におけるCNNの重要性が裏付けられた。
• GNNレイヤーをGINレイヤーに置き換えた場合（CauGNN-GIN）でも性能が維持されたことから、フレームワークが異なるGNNアーキテクチャと互換性を持つことが示された。
• すべてのエッジが1に等しい完全接続（すべての1）の隣接行列を用いた場合（CauGNN-nCau）は、TEに基づくグラフよりも性能が劣った。これは、因果的事前知識の価値を裏付けた。
• GNNレイヤーの隠れ次元値が10から100の範囲で変化しても、モデルの性能は安定しており、ハイパーパrameterの変更に対して頑健であることが示された。
• 3つのCNNフィルタを用いた場合（複数の受容場）は、単一フィルタや生入力（CauGNN-RF）よりも顕著に優れていた。これは、マルチ受容場特徴学習の利点を示している。