[論文レビュー] Discrete Graph Structure Learning for Forecasting Multiple Time Series

Chao Shang, Jie Chen+1 more|arXiv (Cornell University)|Jan 18, 2021

Time Series Analysis and Forecasting参考文献 30被引用数 20

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）を用いた多変量時系列予測のためのユニレベル微分可能グラフ構造学習手法を提案する。グラフ隣接行列は、ベルヌーイ確率のニューラルネットワークパラメータ化によりエンドツーエンドで学習される。この手法は、LDSなどのバイレベル最適化手法と比較して著しく低い訓練コストで最先端の予測性能を達成するとともに、学習された構造を事前知識と整合させる正則化を可能にする。

ABSTRACT

Time series forecasting is an extensively studied subject in statistics, economics, and computer science. Exploration of the correlation and causation among the variables in a multivariate time series shows promise in enhancing the performance of a time series model. When using deep neural networks as forecasting models, we hypothesize that exploiting the pairwise information among multiple (multivariate) time series also improves their forecast. If an explicit graph structure is known, graph neural networks (GNNs) have been demonstrated as powerful tools to exploit the structure. In this work, we propose learning the structure simultaneously with the GNN if the graph is unknown. We cast the problem as learning a probabilistic graph model through optimizing the mean performance over the graph distribution. The distribution is parameterized by a neural network so that discrete graphs can be sampled differentiably through reparameterization. Empirical evaluations show that our method is simpler, more efficient, and better performing than a recently proposed bilevel learning approach for graph structure learning, as well as a broad array of forecasting models, either deep or non-deep learning based, and graph or non-graph based.

研究の動機と目的

• 真のグラフが不明または利用できない状況において、多変量時系列予測のためのグラフ構造を学習する課題に対処すること。
• LDSのようなバイレベル最適化手法によるグラフ構造学習における高い計算コストとスケーラビリティの制限を軽減すること。
• 微分可能で離散的なグラフサンプリングを用いたエンドツーエンドのGNN訓練を可能にし、予測性能を向上させること。
• 正則化を用いて構造的事前知識を統合し、予測精度とグラフ忠実度のバランスをとること。

提案手法

• サンプルされた離散的グラフ上の期待検証損失を最小化するユニレベル最適化問題として、グラフ構造学習を定式化する。
• グラフ確率行列θをニューラルネットワークでパラメータ化し、再パラメータ化を用いた微分可能なサンプリングを可能にする。
• Gumbel-Softmaxトリックを用いて、θ(w)でパラメータ化されたベルヌーイ分布から離散的隣接行列Aをサンプリングする。ここでwはGNNおよびグラフパラメータを含む。
• 予測誤差（MAE）と学習済みθと事前グラフA^aとの間の交差エントロピーのバランスを取る正則化項を導入する。
• バイレベル手法で必要な2番目の検証セットを回避するため、1つの検証セットをハイパーパrameterチューニングに使用する。
• 微分可能なサンプリングプロセスを介したバックプロパゲーションを用いて、エンドツーエンドでモデルを訓練し、GNNとグラフ構造の効率的かつ共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユニレベル微分可能最適化フレームワークは、LDSのようなバイレベル手法よりも、時系列予測のためのグラフ構造学習で優れた性能を発揮できるか？
• RQ2 訓練コストとモデルサイズの観点から、バイレベル最適化と比較して、本手法はどのようにスケーリングするか？
• RQ3 正則化を用いることで、予測精度を損なわずに、学習済みグラフと既知の構造的事前知識との整合性をどの程度向上できるか？
• RQ4 GNNとグラフ構造のエンドツーエンド共同学習は、グラフを固定するモデルや非グラフ手法と比較して、より優れた予測性能を達成できるか？

主な発見

• 提案手法は、複数のベンチマークで最先端の予測性能を達成し、ディープラーニングおよび非ディープラーニングモデル、LDSを用いたグラフベースのモデルをすべて上回る。
• LDSに依存する連鎖的微分法による高コストな計算を避けることで、訓練コストを著しく削減した。
• PMUデータにおける15分予測でλ = 1のとき、MAEが2.47e-4に達し、DCRNN（λ = ∞）を上回り、最良のベースラインと同等の性能を示した。
• METR-LAおよびPEMS-BAYにおいてλ = 0.3で正則化を施した場合、λ = 0の最適な予測品質（MAEの5%以内）を維持しながら、事前グラフとの交差エントロピーを80%以上削減した。
• PMUデータにおいてλ = 20で学習したグラフ構造は、事前の合成k-NN事前知識からの平均交差エントロピーが0.34にとどまり、強い整合性を示した。
• 真のグラフ情報がなくても、合成的または不完全な事前知識であっても、予測性能を向上させるグラフ構造を効果的に学習できた。