[論文レビュー] On the Equivalence Between Temporal and Static Graph Representations for Observational Predictions

Jianfei Gao, Bruno Ribeiro|arXiv (Cornell University)|Mar 12, 2021

Epigenetics and DNA Methylation参考文献 59被引用数 10

ひとこと要約

本論文は、時間的グラフ表現学習のための新規な時系列→グラフフレームワークを提案する。ノードおよびエッジの動的変化はまず逐次的に符号化される（例：RNN や Transformers を用いて）、その後、静的グラフニューラルネットワークに供給される。理論的および実験的に、限られた表現力を持つ GNN を用いる場合、このアプローチは標準的な時系列とグラフを併用する手法よりも優れた表現力と性能を示すことが示され、実世界のタスクにおいても高い効率性を達成している。

ABSTRACT

This work formalizes the associational task of predicting node attribute evolution in temporal graphs from the perspective of learning equivariant representations. We show that node representations in temporal graphs can be cast into two distinct frameworks: (a) The most popular approach, which we denote as time-and-graph, where equivariant graph (e.g., GNN) and sequence (e.g., RNN) representations are intertwined to represent the temporal evolution of node attributes in the graph; and (b) an approach that we denote as time-then-graph, where the sequences describing the node and edge dynamics are represented first, then fed as node and edge attributes into a static equivariant graph representation that comes after. Interestingly, we show that time-then-graph representations have an expressivity advantage over time-and-graph representations when both use component GNNs that are not most-expressive (e.g., 1-Weisfeiler-Lehman GNNs). Moreover, while our goal is not necessarily to obtain state-of-the-art results, our experiments show that time-then-graph methods are capable of achieving better performance and efficiency than state-of-the-art time-and-graph methods in some real-world tasks, thereby showcasing that the time-then-graph framework is a worthy addition to the graph ML toolbox.

研究の動機と目的

• 時系列グラフにおける観測予測を、不変表現学習の観点から形式化すること。
• 表現力が限られた GNN を用いる場合、既存の時系列とグラフを併用する手法が複雑な時間的ダイナミクスを捉えることの制限を克服すること。
• 時系列の順序モデリングと静的グラフ表現学習を分離する、新しい時系列→グラフフレームワークの提案と分析。
• 表現力と効率性の両面で、時系列→グラフアーキテクチャが時系列とグラフを併用するアーキテクチャを上回ることを理論的および実験的に確立すること。

提案手法

• 時系列→グラフフレームワークは、まず RNN や Transformers などの逐次モデルを用いてノードおよびエッジ属性の時間的変化をモデリングし、系列表現を生成する。
• これらの系列表現は、静的 GNN の入力属性として用いられ、グローバルで不変なグラフ表現を学習する。
• この手法は、時間的ダイナミクスをグラフレベルのメッセージパッシングを適用する前に入力系列として扱い、時間的学習と構造的学習を分離する。
• 表現力の分析のために、限られた表現力を持つ状況下での性能を評価するため、1-Weisfeiler-Lehman (1-WL) GNN を構築ブロックとして用いる。
• フレームワークは、交通、感染症拡散、COVID-19 予測タスクを含む合成および実世界のデータセットで評価されている。
• 複数のモデルとデータセットを用いて、GNN および非 GNN の計算時間の測定を通じて、効率性が分析されている。

実験結果

リサーチクエスチョン

• RQ1 1-WL GNN を部品として用いる場合、時系列→グラフフレームワークは、時系列とグラフを併用する手法に理論的表現力の優位性を示すか？
• RQ2 時系列→グラフモデルは、実世界の観測予測タスクにおいて、最先端の時系列とグラフを併用するモデルを上回ることができるか？
• RQ3 異なる時系列グラフのトポロジーにおいて、時系列→グラフの効率性は時系列とグラフを併用するベースラインと比べてどうなるか？
• RQ4 どのような条件下で、時系列→グラフフレームワークはより優れた性能と計算効率を達成するか？

主な発見

• 1-WL GNN を用いる場合、理論的にも示されたように、時系列→グラフ表現は、時系列とグラフを併用する手法に比べて表現力に優位性を示す。
• 合成タスクにおいて、時系列→グラフモデルは、最先端の時系列とグラフを併用する手法、TGAT、TGN と比較して、予測精度で優れた結果を達成した。
• 実世界の応用において、時系列→グラフ手法は、著しく向上した訓練効率を伴いながらも、同等またはより優れた性能を達成した。
• 時系列→グラフの GRU-GCN 変種は、集約されたグラフにおける GNN 計算が減少するため、大多数のデータセットで最も短い訓練時間を記録した。
• Brain10 のような密なグラフでは、エッジ数が多いことから、時系列→グラフの効率性が低下した。これは、性能がグラフトポロジーに依存することを示している。
• 時系列→グラフ手法は、時間的エッジを集約することで GNN の計算コストを削減したが、エッジ数が常に高い状況ではその利点が薄れることが分かった。