[論文レビュー] Spatio-Temporal Deep Graph Infomax

Felix L. Opolka, A. I. Solomon+4 more|arXiv (Cornell University)|Apr 12, 2019

Health, Environment, Cognitive Aging参考文献 6被引用数 16

ひとこと要約

本稿では、局所的なグラフパッチと将来のノード特徴量の相互情報量を最大化することで、空間的・時間的ダイナミクスを捉える、完全に教師なしのノード表現学習手法であるSpatio-Temporal Deep Graph Infomax (STDGI) を提案する。STDGIは、長期的な予測情報を符号化する表現を学習することで、自己回帰的予測モデルの性能を向上させ、交通速度予測タスクにおいて顕著な性能向上を達成する。

ABSTRACT

Spatio-temporal graphs such as traffic networks or gene regulatory systems present challenges for the existing deep learning methods due to the complexity of structural changes over time. To address these issues, we introduce Spatio-Temporal Deep Graph Infomax (STDGI)---a fully unsupervised node representation learning approach based on mutual information maximization that exploits both the temporal and spatial dynamics of the graph. Our model tackles the challenging task of node-level regression by training embeddings to maximize the mutual information between patches of the graph, at any given time step, and between features of the central nodes of patches, in the future. We demonstrate through experiments and qualitative studies that the learned representations can successfully encode relevant information about the input graph and improve the predictive performance of spatio-temporal auto-regressive forecasting models.

研究の動機と目的

• 構造的および時間的ダイナミクスが複雑な空間的・時間的グラフにおいて、意味のあるノード表現を学習するという課題に対処すること。
• 時間的変化と将来予測を組み込むことで、動的グラフにDeep Graph Infomax (DGI) フレームワークを拡張すること。
• 分類ベンチマークの代わりに回帰設定において、教師なしノード表現を評価すること。
• 自己回帰モデルの予測性能を、教師なしで空間的・時間的にインフォームドな埋め込みを注入することで向上させること。
• 相互情報量の最大化が、グラフ構造時系列における長期依存関係を効果的に捉えることができることを示すこと。

提案手法

• STDGIは、各時刻における現在の特徴量とグラフ構造に基づき、ノード埋め込みを計算するためのグラフ畳み込みエンコーダを使用する。
• モデルは、時刻tのノード埋め込みと、将来の時刻t+kの生のノード特徴量の間の相互情報量を、対照学習の設定で最大化する。
• 陽性ペア（同じノードのtとt+k）と陰性ペア（t+kでの不正な特徴量）を区別するための識別器ネットワークを訓練する。
• 複数の識別器を、異なる将来の時間窓（k=1,3,6）に対して訓練することで、マルチスケールの時間的依存関係を捉える。
• 教師なしの学習設定で訓練され、表現学習に真のラベルは一切不要である。
• 学習された埋め込みは、生の特徴量と連結され、回帰用の下流のLSTMベースのseq2seqモデルに供給される。

実験結果

リサーチクエスチョン

• RQ1 相互情報量の最大化を、空間的・時間的グラフに効果的に拡張することで、有用なノード表現を学習できるか？
• RQ2 提案されたSTDGI手法が、ノードレベルの回帰タスクにおける自己回帰モデルの予測性能を向上させるか？
• RQ3 教師なし埋め込みは、生の特徴量のみと比較して、長期的な時間的依存関係をどの程度うまく捉えられるか？
• RQ4 STDGIの埋め込みは、特に長い予測窓においても、異なる予測時間窓に一般化可能か？
• RQ5 学習された埋め込みの類似度は、将来のノード特徴量の値を予測するのに有用か？

主な発見

• METR-LAデータセットの15分予測時間窓において、STDGI埋め込みはMAEを0.06（3.67から3.61に）低下させた。
• 15分予測において、RMSEは0.08（8.51から8.28に）低下し、すべての改善が統計的に有意であった（p < 0.01）。
• 60分の予測窓では、MAEは6.53から6.41に、RMSEは13.04から12.79に低下し、長期スケールでより強い改善が得られた。
• 60分予測のMAPEは13.1%から12.5%に低下し、相対誤差性能の向上が示された。
• t-SNE可視化により、埋め込みの類似度が将来の速度の類似度と相関していることが確認され、表現が意味のある長期的ダイナミクスを符号化していることが妥当性を確認した。
• すべての時間窓においてLSTMベースラインを上回り、予測ウィンドウが長くなるほど改善が顕著になった。