[論文レビュー] Learning to Reconstruct Missing Data from Spatiotemporal Graphs with Sparse Observations

Ivan Marisca, Andrea Cini+1 more|arXiv (Cornell University)|May 26, 2022

Functional Brain Connectivity StudiesNeuroscience被引用数 19

ひとこと要約

本稿では、空間的・時系列的スパース注意機構を備えた新しいグラフニューラルネットワーク、SPINを提案する。このモデルは、観測値のみを空間的・時系列的に伝搬させることで、極めてスパースな多次元時系列データの欠損値を再構築する。自己回帰モデルとは異なり、SPINは誤差伝搬を回避し、交通量および大気質ベンチマークにおいて、極度のスパarsity下でも最先端の性能を達成する。

ABSTRACT

Modeling multivariate time series as temporal signals over a (possibly dynamic) graph is an effective representational framework that allows for developing models for time series analysis. In fact, discrete sequences of graphs can be processed by autoregressive graph neural networks to recursively learn representations at each discrete point in time and space. Spatiotemporal graphs are often highly sparse, with time series characterized by multiple, concurrent, and long sequences of missing data, e.g., due to the unreliable underlying sensor network. In this context, autoregressive models can be brittle and exhibit unstable learning dynamics. The objective of this paper is, then, to tackle the problem of learning effective models to reconstruct, i.e., impute, missing data points by conditioning the reconstruction only on the available observations. In particular, we propose a novel class of attention-based architectures that, given a set of highly sparse discrete observations, learn a representation for points in time and space by exploiting a spatiotemporal propagation architecture aligned with the imputation task. Representations are trained end-to-end to reconstruct observations w.r.t. the corresponding sensor and its neighboring nodes. Compared to the state of the art, our model handles sparse data without propagating prediction errors or requiring a bidirectional model to encode forward and backward time dependencies. Empirical results on representative benchmarks show the effectiveness of the proposed method.

研究の動機と目的

• 実際のセンサーネットワークで一般的に見られる、極めてスパースかつ不規則な観測を持つ多次元時系列における欠損データの再構築という課題に対処すること。
• 予測値に依存する自己回帰モデルに内在する不安定性および誤差伝搬問題を克服すること。
• 予測値に依存せず、観測済みデータにのみ依存する補完手法を設計すること。
• スパarsityを明示的に考慮し、グラフ構造を通じて有効な観測値のみを伝搬する時空間的注意機構を導入すること。
• 補完タスクに適合する自己組織的かつ伝搬プロセスを設計し、直接的に補完のための表現を学習することで、スパースな環境下での頑健性を向上させること。

提案手法

• 空間的および時系列的両方の観測ノードに限定して注目を制限するスパース時空間的注意機構を提案し、欠損データポイントへの注目を回避する。
• 各ノードの表現が、時系列および空間的両方において観測済みの隣接ノードからのみ情報を集約するように、メッセージパッシングを用いたグラフニューラルネットワークアーキテクチャを設計する。
• 観測済みデータポイントにおける再構築誤差を最小化する損失関数を用いて、モデルをエンドツーエンドで訓練し、欠損観測値の再構築を実現する。
• 計算コストを削減しつつ性能を維持するため、階層的注意機構（SPIN-H）を導入し、特に大規模グラフにおいて有効である。
• 各ノードの表現が有効な観測済みデータポイントにのみ依存するように、メッセージパッシングプロセスを補完タスクに適合させる。
• スパティオトーラル的近接性およびデータの可用性に基づいて、隣接ノードおよび時系列ステップからの寄与を動的に重みづける学習可能な注目機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己組織的時空間的伝搬機構は、自己回帰モデルと比較して、極めてスパースな環境下でも、欠損データの再構築をより頑健に行えるか？
• RQ2 予測値に依存せず、観測済みデータにのみ依存する補完は、極度のスパarsity下で誤差蓄積を低減し、一般化性能を向上させるか？
• RQ3 提案されたスパース時空間的注意機構は、長期間にわたる連続的な欠損シーケンスを処理する際、標準的注意機構および自己回帰モデルと比較してどのように性能を発揮するか？
• RQ4 階層的注意機構（SPIN-H）は、計算コストを削減しつつ、どの程度の性能を維持できるか？
• RQ5 再トレーニングなしで、異なるデータ分布および欠損パターン（例：点欠損対ブロック欠損）に一般化可能か？

主な発見

• SPINは、METR-LA、PEMS-BAY、AQIデータセットの全ベンチマークおよびスパarsityレベルで、すべてのベースライン（GRIN、SAITS、Transformerなど）を上回り、MAEが最小となる。
• ブロック欠損設定（15％の故障確率、約96–97％の欠損率）下で、AQIデータセットにおいてMAEが24.34に達し、GRIN（29.03）およびSAITS（36.34）を大きく上回った。
• ブロック欠損シナリオ下、5％の故障確率でMETR-LAにおいてSPIN-HはMAEが2.64を達成し、GRIN（3.05）およびSAITS（4.73）を上回った。
• スパarsityが増加するに従い、SPINの性能低下率はベースラインよりも遅く、極度の欠損データパターンに対しても優れた頑健性を示した。
• 点欠損およびブロック欠損の両方の欠損データ分布においても、SPINは強力な性能を維持しており、特定のスパarsityパターンを超えた一般化能力を示している。
• 誤差伝搬を回避する観測データのみを用いたエンドツーエンド学習により、スパース環境下でより安定的かつ信頼性の高い学習ダイナミクスが得られた。