[論文レビュー] ST-UNet: A Spatio-Temporal U-Network for Graph-structured Time Series Modeling

Bing Yu, Haoteng Yin+1 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Graph Neural Networks参考文献 26被引用数 50

ひとこと要約

ST-UNetは、ST-Pool/ST-UnpoolおよびGCGRUを用いて、複数の空間・時間スケールを跨ぐグラフ構造時間系列をモデリング・予測し、交通データセットで最先端の結果を達成します。

ABSTRACT

The spatio-temporal graph learning is becoming an increasingly important object of graph study. Many application domains involve highly dynamic graphs where temporal information is crucial, e.g. traffic networks and financial transaction graphs. Despite the constant progress made on learning structured data, there is still a lack of effective means to extract dynamic complex features from spatio-temporal structures. Particularly, conventional models such as convolutional networks or recurrent neural networks are incapable of revealing the temporal patterns in short or long terms and exploring the spatial properties in local or global scope from spatio-temporal graphs simultaneously. To tackle this problem, we design a novel multi-scale architecture, Spatio-Temporal U-Net (ST-UNet), for graph-structured time series modeling. In this U-shaped network, a paired sampling operation is proposed in spacetime domain accordingly: the pooling (ST-Pool) coarsens the input graph in spatial from its deterministic partition while abstracts multi-resolution temporal dependencies through dilated recurrent skip connections; based on previous settings in the downsampling, the unpooling (ST-Unpool) restores the original structure of spatio-temporal graphs and resumes regular intervals within graph sequences. Experiments on spatio-temporal prediction tasks demonstrate that our model effectively captures comprehensive features in multiple scales and achieves substantial improvements over mainstream methods on several real-world datasets.

研究の動機と目的

• 空間的・時間的依存性が時間とともに変化する動的な時空グラフを動機づけてモデル化する。
• ローカルおよびグローバルな時空パターンを捉える多スケールのU形アーキテクチャを開発する。
• グラフ上での効率的な時空プーリングとアンプーリング演算子を提案する。
• シーケンスモデリングのバックボーンとしてグラフ畳み込みゲート付きリカレントユニットを活用する。
• 実世界の交通データセットで予測精度の向上を実証し、コンポーネントの有効性を検証する。

提案手法

• ST-UNetとして時空間グラフにU-Netを一般化する。
• バックボーンとしてGCGRUを用いてグラフ上の時間的ダイナミクスをモデル化する。
• 決定論的分割(gPartition)によるグラフの粗密化を実現するST-Poolを導入し、膨張リカレントスキップ接続で時系列特徴を集約する。
• 原始的なグラフ構造と時間的依存関係を復元するST-Unpoolを導入し、3つのアップサンプリング戦略（直接コピー、順序付きデコンボリューション、加重デコンボリューション）を採用する。
• 高レベルのプール featuresをアップサンプリング出力とスキップ接続で融合し、マルチスケール特徴を統合する。
• マルチスケール特徴学習を用いて、短期予測でノード属性全体またはグラフを予測する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造時系列に対してマルチスケールのU字型アーキテクチャを適用して、局所とグローバルの時空パターンを効果的に捉えられるか。
• RQ2 時空プーリングとアンプーリング演算は、平坦なまたは単一スケールのモデルに比べて予測精度を改善するか。
• RQ3 膨張リカレントスキップ接続とGCGRUバックボーンは、動的グラフ上の多解像度の時間モデリングにどのように寄与するか。
• RQ4 ST-Unpoolのどのアップサンプリング戦略が、精度と頑健性の最良のバランスを提供するか。
• RQ5 ST-UNetは、交通ネットワークのような大規模なグラフ構造時系列タスクにおいて、性能とスケーラビリティをどの程度示すか。

主な発見

• ST-UNetはMETR-LAおよびPeMSデータセットの時空間交通予測において、ベースライン（GCGRU、STGCN、DCRNN）を一貫して上回る。
• ST-UNetは、両データセットで15/30/60分の horizonte に対して最良のMAE、MAPE、RMSEを達成する。
• アブレーション研究により、ST-PoolとST-Unpoolが性能向上に寄与し、完全なST-UNetが最良の結果を示すことが分かった。
• アップサンプリング戦略の中でDirect Copyが一般に最良の性能を示し、特に長い horizonで顕著。
• ST-UNetは大規模グラフ（PeMS-L）でのスケーラビリティの利点を示し、伝統的なGCNベースモデルが苦労する場面において優位を示す。