[論文レビュー] Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca+1 more|arXiv (Cornell University)|Jul 31, 2021

Functional Brain Connectivity Studies参考文献 57被引用数 8

ひとこと要約

本稿では、相互に接続されたセンサー間の非線形な依存関係をモデル化するために空間的・時系列的メッセージパッシングを利用する、多変量時系列の欠損値補完のための新しいグラフニューラルネットワークアーキテクチャGRILを提案する。本手法は、既存の手法と比較してベンチマークデータセット上で平均絶対誤差を20%以上低減し、最先端の性能を達成した。

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive and time-consuming inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most of state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIL, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatial-temporal representations through message passing. Preliminary empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant benchmarks with mean absolute error improvements often higher than 20%.

研究の動機と目的

• 実世界のセンサーネットワークからの多変量時系列における欠損データの課題に対処すること。
• 関係性や構造的依存関係をモデル化できない既存のディープラーニング補完手法の限界を克服すること。
• センサー・データ内の非線形な時系列的および空間的相関関係を捉えることができる、グラフニューラルネットワークベースのフレームワークを導入すること。
• グラフ表現を用いたアプローチが、多変量時系列における欠損値の再構築に有効であるかを評価すること。

提案手法

• GRILは、ノードをセンサー、エッジをそれらの間の空間的関係として表現するグラフを構築する。
• 時系列的および空間的情報をグラフ構造全体にわたって伝達・集約するためのメッセージパッシング機構を採用する。
• 複数層のグラフ畳み込みを用いて、ノード埋め込みを更新することで、共同の空間的・時系列的表現を学習する。
• 隣接ノードからのメッセージの重みを学習可能なアテンションメカニズムで制御し、関連する依存関係に注目する能力を向上させる。
• 観測された時系列セグメントにおける予測値と実際の値の差を最小化する再構築損失を用いて、エンド・ツー・エンドでモデルを訓練する。
• GRILは、時系列的ダイナミクスと関係構造を同時にモデル化することで、不完全な多変量時系列を効果的に処理できるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、欠損値を含む多変量時系列における複雑な空間的・時系列的依存関係を効果的にモデル化できるか？
• RQ2 GRILは最先端の補完手法と比較して、再構築精度においてどのように優れているか？
• RQ3 関係性に基づくインダクティブバイアスは、センサーネットワークデータにおける補完性能をどの程度向上させるか？
• RQ4 グラフ構造のメッセージパッシングは、欠損データパターンの多様なパターンに一般化する上で優れた性能を示すか？

主な発見

• GRILは、最先端の手法と比較して平均絶対誤差（MAE）を顕著に改善し、ベンチマークデータセットではしばしば20%以上の低減を達成した。
• 本手法は、従来のディープラーニング手法が活用できない非線形な時系列的および空間的依存関係を効果的に捉えている。
• センサーネットワークをグラフとしてモデル化することで、従来手法が性能を発揮できない分野でも、関係情報を利用し補完精度を向上させた。
• メッセージパッシングの活用により、相互に接続されたセンサー間で情報が伝達され、欠損値の再構築が強化された。
• 実験的結果から、GRILが多様な欠損データパターンを有する多変量時系列に良好に一般化することが示された。
• 不完全な観測を伴う複雑な実世界のセンサーデータを効果的に処理する上で、GRILのアーキテクチャは優れたスケーラビリティと表現力を持つことがわかった。