[論文レビュー] Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging

Yuankai Wu, Dingyi Zhuang+3 more|arXiv (Cornell University)|Sep 24, 2021

Data Management and Algorithms参考文献 37被引用数 15

ひとこと要約

本稿では、空間集約ネットワークと時系列畳み込みネットワークを組み合わせた、リアルタイムの時空間クリギングを実現する新規なグラフニューラルネットワークフレームワークSATCNを提案する。未観測ノードを除外するマスキング戦略と、多様な空間的依存関係を捉えるための複数の集約関数を用いることで、多様なデータセットにおいて優れた補間精度を達成し、従来のクリギングモデルおよびGNNベースのモデルを上回り、欠損データに対しても頑健で、未観測のグラフ構造へも一般化可能である。

ABSTRACT

Spatiotemporal kriging is an important application in spatiotemporal data analysis, aiming to recover/interpolate signals for unsampled/unobserved locations based on observed signals. The principle challenge for spatiotemporal kriging is how to effectively model and leverage the spatiotemporal dependencies within the data. Recently, graph neural networks (GNNs) have shown great promise for spatiotemporal kriging tasks. However, standard GNNs often require a carefully designed adjacency matrix and specific aggregation functions, which are inflexible for general applications/problems. To address this issue, we present SATCN -- Spatial Aggregation and Temporal Convolution Networks -- a universal and flexible framework to perform spatiotemporal kriging for various spatiotemporal datasets without the need for model specification. Specifically, we propose a novel spatial aggregation network (SAN) inspired by Principal Neighborhood Aggregation, which uses multiple aggregation functions to help one node gather diverse information from its neighbors. To exclude information from unsampled nodes, a masking strategy that prevents the unsampled sensors from sending messages to their neighborhood is introduced to SAN. We capture temporal dependencies by the temporal convolutional networks, which allows our model to cope with data of diverse sizes. To make SATCN generalizable to unseen nodes and even unseen graph structures, we employ an inductive strategy to train SATCN. We conduct extensive experiments on three real-world spatiotemporal datasets, including traffic speed and climate recordings. Our results demonstrate the superiority of SATCN over traditional and GNN-based kriging models.

研究の動機と目的

• 固定された隣接行列に依存する既存の時空間クリギングモデルの限界を解消すること。
• 新しいグラフに対してモデル再訓練を必要としない柔軟で帰納的なフレームワークを構築し、未サンプリング地点における信号補間を高精度で行うこと。
• 複数の集約関数と時系列畳み込みネットワークを組み合わせることで、複雑な時空間的依存関係をよりよくモデル化すること。
• とくに50％までの欠損観測が生じる状況でも、欠損データに対して頑健であることを向上させること。
• 移動センサーやクラウドソーシングデータシステムのような、時間とともに変化するセンサーネットワークへも一般化できること。

提案手法

• 主な近傍集約にインspiredされた空間集約ネットワーク（SAN）を提案し、平均、標準偏差、正規化平均といった複数の集約関数を用いて、多様な近傍情報の特徴を捉える。
• 未観測（未サンプリング）ノードからのメッセージ伝達をブロックするマスキング戦略を導入し、不正な情報の伝搬を防ぐ。
• 可学習カーネルを備えた時系列畳み込みネットワーク（TCN）を採用し、変動する長さの時間ウィンドウを扱えるようにする。
• 合成的グラフマスキング（アルゴリズム1を用いて）を用いた帰納的訓練戦略を採用し、未観測ノードをシミュレートすることで、新しいグラフ構造への一般化性能を向上させる。
• SANとTCNをスタック構造（SATCNブロック）で統合し、性能と過学習のバランスを取るために、深さと幅のハイパーパrameterを最適化する。
• スケーラー（対数スケーリング、逆対数スケーリング）を備えたマルチヘッドアグレゲータ設計を採用し、特徴表現力を高めつつ、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された隣接行列を必要とせず、広範なハイパーパrameterチューニングを要しないGNNベースのフレームワークが、優れたクリギング性能を達成できるか。
• RQ2 未観測ノードをマスキングすることで、時空間クリギングモデルの一般化性能と精度にどのような影響を与えるか。
• RQ3 複数の集約関数とスケーラーは、複雑な空間的依存関係を捉える能力をどの程度向上させるか。
• RQ4 SATCNアーキテクチャの深さと幅は、実世界の時空間データセットにおける性能と収束特性にどのように影響を与えるか。
• RQ5 モデルは未観測のグラフ構造へ一般化可能であり、高い欠損データ率下でも高い精度を維持できるか。

主な発見

• SATCNは、交通速度と全球気温記録を含む3つの実世界データセットにおいて、従来のクリギングモデルおよびGNNベースのベースラインを上回る性能を発揮した。
• すべてのアグレゲータ（平均、正規化平均、標準偏差）と対数スケーラーを備えたモデルが最小のMAEを達成し、多面的な近傍表現の重要性を示した。
• 平均アグレゲータを欠落させたモデル（WME）が最も成績が悪く、平均ベースの集約がクリギングにおいて最も重要な空間的情報を捉えていることを示した。
• 32個の隠れユニットを備えた2ブロックのSATCNアーキテクチャが最適な性能を発揮した。3ブロックのより深いモデルは、関係の薄い遠方の情報を含えるため、性能が低下した。
• 64および128個の隠れユニットを備えたモデルは、より小さい幅のモデルと比較してテスト時のMAEの分散が低かったが、32ユニットを超えると顕著な精度向上は見られなかった。
• 10～30個のシミュレートされた欠損位置（nm）を用いた学習は一般化性能を向上させたが、非常に高いnm値（例：70）ではグラフの疎性と不安定性のため性能が劣化した。