[論文レビュー] Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data

Yu-Cheng Wang, Yuecong Xu+5 more|arXiv (Cornell University)|Sep 11, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、異なるセンサー間の異なるタイムスタンプにおける相関関係（DEDT）を完全に捉えることで、空間的・時間的（ST）依存関係を効果的にモデル化する、多変量時系列データ向けの新規グラフニューラルネットワークであるFC-STGNNを提案する。本手法は、時間的距離に基づく減衰行列を用いた減衰重み付き完全接続グラフと、移動プーリング型グラフ畳み込み機構を導入し、局所的なSTパターンを効率的に学習する。複数のベンチマークで最先端（SOTA）手法を上回り、計算コストも低減している。

ABSTRACT

Multivariate Time-Series (MTS) data is crucial in various application fields. With its sequential and multi-source (multiple sensors) properties, MTS data inherently exhibits Spatial-Temporal (ST) dependencies, involving temporal correlations between timestamps and spatial correlations between sensors in each timestamp. To effectively leverage this information, Graph Neural Network-based methods (GNNs) have been widely adopted. However, existing approaches separately capture spatial dependency and temporal dependency and fail to capture the correlations between Different sEnsors at Different Timestamps (DEDT). Overlooking such correlations hinders the comprehensive modelling of ST dependencies within MTS data, thus restricting existing GNNs from learning effective representations. To address this limitation, we propose a novel method called Fully-Connected Spatial-Temporal Graph Neural Network (FC-STGNN), including two key components namely FC graph construction and FC graph convolution. For graph construction, we design a decay graph to connect sensors across all timestamps based on their temporal distances, enabling us to fully model the ST dependencies by considering the correlations between DEDT. Further, we devise FC graph convolution with a moving-pooling GNN layer to effectively capture the ST dependencies for learning effective representations. Extensive experiments show the effectiveness of FC-STGNN on multiple MTS datasets compared to SOTA methods. The code is available at https://github.com/Frank-Wang-oss/FCSTGNN.

研究の動機と目的

• 多変量時系列（MTS）データにおける、異なるセンサー間の異なるタイムスタンプにおける相関関係（DEDT）をモデル化する現行のGNNベース手法の限界を解決すること。
• DEDT相関をグラフ構築と畳み込みに統合することで、包括的な空間的・時間的（ST）依存関係を捉える統合フレームワークの構築。
• 効率的な移動プーリング型グラフ畳み込みと減衰重み付き接続を用いて、計算複雑度を低減しつつ高い性能を維持すること。
• 実世界のMTSベンチマーク（RUL予測や睡眠ステージ分類を含む）において、モデルの有効性と効率性を評価すること。

提案手法

• ドット積類似度を用いて、すべてのタイムスタンプにおけるすべてのセンサーを接続する完全接続（FC）グラフ構築法を提案。時間的距離に基づく減衰行列を導入し、近いタイムスタンプを優先する。
• 時間的距離に基づくパラメータδを有する減衰行列を導入し、時間的に近いセンサー対に高い相関重みを割り当て、DEDT依存関係の現実的モデル化を実現。
• 時間軸に沿ってサイズMのスライディングウィンドウを適用する移動プーリング型GNN層を設計。局所的なSTパターンを捉えつつ、計算負荷を低減。
• 各移動ウィンドウの後に時間的プーリングを適用し、特徴を要約して高レベル表現を生成。複数の並列層をスタックして特徴を精錬。
• 受容 field と特徴集約を制御するためのウィンドウサイズMとストライドsを採用。アブレーションスタディでM=2、s=1が最適であると判明。
• 各ウィンドウ内で標準的なグラフ畳み込みを実行し、エッジ伝搬によりノード特徴を更新。その後、時間的プーリングで時系列全体の特徴を要約。

実験結果

リサーチクエスチョン

• RQ1 異なるセンサー間の異なるタイムスタンプにおける相関関係（DEDT）をモデル化することで、多変量時系列データの表現学習が顕著に向上するか？
• RQ2 完全接続グラフに減衰重み付き時間的接続を組み込むことで、MTSタスクにおける性能と一般化能力にどのような影響を与えるか？
• RQ3 局所的なST依存関係を過剰適合や情報損失なしに捉えるために、移動プーリング型GNN層の最適なウィンドウサイズとストライドは何か？
• RQ4 FLOPs、モデルサイズ、推論速度の観点から、FC-STGNNは最先端（SOTA）手法と比較して性能と効率性に優れているか？

主な発見

• M=2のバージョンがM=1（DEDTモデリングなし）を上回ることで、DEDT相関の捉え込みがC-MAPSSデータセットで顕著な性能向上をもたらすことが示された。
• ウィンドウサイズMが2を超過すると、例えばFD001では性能が低下し、局所的な時間的パターンの捉えが不十分になることが判明。
• 減衰率δ=0.7またはδ=0.9が最良の性能を示したが、δ=0.1では相関関係の歪みが著しく、性能が著しく低下した。
• FC-STGNNは、比較されたすべてのSOTA手法の中でFLOPsとトレーニング可能なパラメータ数が最少であり、高い効率性を示した。
• 推論時間が最も速く、実用システムにおけるリアルタイムデプロイメントに適している。
• トレーニング時間はHierCorr（210秒対194秒）よりわずかに長かったが、差は微小であり、推論速度とモデル効率性の向上に比べて無視できる。