[論文レビュー] Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca+1 more|arXiv (Cornell University)|Jul 31, 2021

Functional Brain Connectivity Studies被引用数 40

ひとこと要約

GRIN は、チャネル間の関係情報を活用して欠損値を再構成する、多変量時系列補完のためのグラフニューラルネットワークに基づく双方向リカレントアーキテクチャで、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive, tedious, inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIN, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatio-temporal representations through message passing. Empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant real-world benchmarks with mean absolute error improvements often higher than 20%.

研究の動機と目的

• 関係情報を活用して相互接続されたセンサーネットワークにおける欠損値の補完を動機づける。
• スペース-時間依存性をモデル化するためにメッセージパッシングを用いる、MTSI のためのグラフベースリカレントアーキテクチャ（GRIN）を導入する。
• 多様な実世界ベンチマークで最先端の補完性能を実証する。
• GRIN が可変の入力次元と切断ノードを扱えることを示す。
• 空間デコーディングと双方向性の重要性を強調するアブレーション研究を提供する。

提案手法

• 入力の多変量時系列を固定トポロジを持つグラフのシーケンスとしてモデル化する。
• 各方向ごとに空間-時間エンコーダと空間デコーダの2段階を持つ双方向 GRIN を開発する。
• 空間-時間エンコーダ内で GRU ゲートを実装するために MPNN を使用する。
• 補完のためにワンステップ先予測と観測値を統合するフィラー演算子を適用する。
• 近傍メッセージで集約された補完表現を用いた2つ目の補完段階を組み込む。
• 最終補完を生成するために前方表現と後方表現をMLPを介して結合する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは MTSI の非線形な時空間依存性を効果的に捉えられるか。
• RQ2 過去と未来の文脈の両方を活用することで双方向 GRIN は補完を改善するか。
• RQ3 関係構造が異なる多様な実世界データセットにおいて、GRIN は最先端のベースラインとどのように比較されるか。

主な発見

• GRIN は複数のベンチマークで最先端の補完性能を達成し、MAE の改善はしばしば20％を上回る。
• 交通データセットとスマートグリッドデータセットで、GRIN は BRITS および他のベースラインを大幅に上回り、交通データセットでは平均約29％MAE を削減。
• GRIN は孤立ノードや関係情報が明示的でない場合にも効果的である。
• アブレーション研究は、空間デコーダや双方向性を除去すると性能が低下することを示し、空間的および双方向性コンポーネントの重要性を浮き彫りにする。