[論文レビュー] Modeling Complex Spatial Patterns with Temporal Features via Heterogenous Graph Embedding Networks.

Yida Huang, Haoyan Xu+5 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Graph Neural Networks参考文献 27被引用数 1

ひとこと要約

本稿では、異種グラフニューラルネットワークを用いて、多次元時系列（MTS）変数間の動的および静的関係とその時間的依存関係を統合的にモデル化する、エンド・ツー・エンドの深層学習モデルMTHetGNNを提案する。関係埋め込みモジュールとマルチスケールCNNを組み合わせたノード特徴抽出により、3つの実世界のMTS予測ベンチマークで最先端の性能を達成した。

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. Variables in MTS have rich relations among each other and the value of each variable in MTS depends both on its historical values and on other variables. These rich relations can be static and predictable or dynamic and latent. Existing methods do not incorporate these rich relational information into modeling or only model certain relation among MTS variables. To jointly model rich relations among variables and temporal dependencies within the time series, a novel end-to-end deep learning model, termed Multivariate Time Series Forecasting via Heterogenous Graph Neural Networks (MTHetGNN) is proposed in this paper. To characterize rich relations among variables, a relation embedding module is introduced in our model, where each variable is regarded as a graph node and each type of edge represents a specific relationship among variables or one specific dynamic update strategy to model the latent dependency among variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, heterogenous graph neural networks are adopted to handle the complex structural information generated by temporal embedding module and relation embedding module. Three benchmark datasets from the real world are used to evaluate the proposed MTHetGNN and the comprehensive experiments show that MTHetGNN achieves state-of-the-art results in MTS forecasting task.

研究の動機と目的

• 既存のMTS予測モデルが変数間の豊富な動的および静的関係を統合的にモデル化できないという限界を解決すること。
• MTS変数間の明示的および隠れられた依存関係を統一的な深層学習フレームワークに統合すること。
• 多様な種類の関係情報がエンコードされた異種グラフ構造を活用することで、予測精度を向上させること。
• 時間系列特徴抽出にマルチスケールCNNフィルタを用いることで、時間的依存関係を効果的にモデル化すること。
• 関係性モデリングと時間的モデリングを統合したエンド・ツー・エンドのフレームワークを構築し、優れた予測性能を実現すること。

提案手法

• MTSの各変数を異種グラフ内のノードとしてモデル化し、異なる種類の関係や動的更新戦略を表す異なるエッジタイプを設定する。
• 関係埋め込みモジュールにより、多様な関係タイプの表現を学習し、変数間の静的および隠れられた依存関係を捉える能力を向上させる。
• 各変数の時間系列にマルチスケールCNNフィルタを適用し、時間的特徴を抽出して初期ノード表現を生成する。
• 異種グラフニューラルネットワーク（H-GNN）を用いて、グラフ全体にわたる情報の集約と伝搬を実施し、時間的および関係的モジュールからの複雑な構造的依存関係を捉える。
• 将来の時間ステップにおける予測性能を最適化するために、エンド・ツー・エンドで学習を行う。
• 時間的特徴抽出と関係的グラフ学習の統合により、変数間の関係と時間的ダイナミクスの両方を統合的にモデル化可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワーク内でのMTS変数間の動的および静的関係をどのように効果的にモデル化できるか？
• RQ2 複雑な関係構造を捉えることで、異種グラフニューラルネットワークがMTS予測をどの程度改善できるか？
• RQ3 マルチスケール時間的特徴抽出は、関係的文脈における個々の時間系列変数の表現をどのように向上させるか？
• RQ4 時間的依存関係と変数間関係の統合的モデリングは、既存手法と比較して予測精度にどの程度の影響を与えるか？
• RQ5 提案されたMTHetGNNモデルは、多様な実世界のMTSデータセットにおいて最先端の性能を達成するか？

主な発見

• MTHetGNNは、3つの実世界の多次元時系列予測ベンチマークで最先端の性能を達成した。
• 異種グラフニューラルネットワークの統合により、MTS変数間の静的および動的関係の効果的なモデリングが可能となった。
• マルチスケールCNNフィルタの使用により、時間的特徴抽出が向上し、予測精度の向上に寄与した。
• 関係埋め込みモジュールは、変数間の多様な種類の依存関係、特に隠れられたものや動的なものを効果的に捉えた。
• 実験結果から、時間的および関係的構造の統合的モデリングが、既存手法と比較して顕著な性能向上をもたらすことが示された。
• エンド・ツー・エンドの学習戦略により、異なるMTSデータセットに一般化しやすい表現が効果的に学習された。