[論文レビュー] DynG2G: An Efficient Stochastic Graph Embedding Method for Temporal Graphs

Mengjia Xu, Apoorva Singh+1 more|arXiv (Cornell University)|Sep 28, 2021

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

DynG2G は、時間に依存する多変量正規分布として時間的ノード埋め込みをモデル化する確率的グラフ埋め込み手法であり、動的グラフにおける不確実性の定量化を可能にする。8つの多様なベンチマークにおいて、時間的リンク予測で最先端の性能を達成するとともに、最適埋め込み次元 $L_o$ が内在的不確実性次元 $D_u$ に等しいという普遍的な関係を明らかにし、埋め込み次元の適応的選択を可能にする。

ABSTRACT

Dynamic graph embedding has gained great attention recently due to its capability of learning low dimensional graph representations for complex temporal graphs with high accuracy. However, recent advances mostly focus on learning node embeddings as deterministic "vectors" for static graphs yet disregarding the key graph temporal dynamics and the evolving uncertainties associated with node embedding in the latent space. In this work, we propose an efficient stochastic dynamic graph embedding method (DynG2G) that applies an inductive feed-forward encoder trained with node triplet-based contrastive loss. Every node per timestamp is encoded as a time-dependent probabilistic multivariate Gaussian distribution in the latent space, hence we can quantify the node embedding uncertainty on-the-fly. We adopted eight different benchmarks that represent diversity in size (from 96 nodes to 87,626 and from 13,398 edges to 4,870,863) and diversity in dynamics. We demonstrate via extensive experiments on these eight dynamic graph benchmarks that DynG2G achieves new state-of-the-art performance in capturing the underlying temporal node embeddings. We also demonstrate that DynG2G can predict the evolving node embedding uncertainty, which plays a crucial role in quantifying the intrinsic dimensionality of the dynamical system over time. We obtain a universal relation of the optimal embedding dimension, $L_o$, versus the effective dimensionality of uncertainty, $D_u$, and we infer that $L_o=D_u$ for all cases. This implies that the uncertainty quantification approach we employ in the DynG2G correctly captures the intrinsic dimensionality of the dynamics of such evolving graphs despite the diverse nature and composition of the graphs at each timestamp. Moreover, this $L_0 - D_u$ correlation provides a clear path to select adaptively the optimum embedding size at each timestamp by setting $L \ge D_u$.

研究の動機と目的

• 動的グラフにおける時間的ダイナミクスと不確実性を捉えることに限界を示す決定的ノード埋め込みの課題に対処すること。
• 不確実性の定量化をサポートする、効率的でスケーラブルかつ誘導的（inductive）な動的グラフ表現学習のための手法を開発すること。
• 動的システムの内在的不確実性に関連付けることで、埋め込み次元の適応的選択を可能にすること。
• 異種の時間的ダイナミクスを示すグラフにおいて、訓練の安定性と計算効率を向上させること。
• 多様な時間的グラフベンチマークにおいて、頑健な不確実性推定を伴って最先端の性能を示すこと。

提案手法

• DynG2G は、各グラフスナップショットを独立して処理する確率的で誘導的なフォワードエンコーダーを用い、潜在空間におけるノードを多変量正規分布として符号化する。
• ノードの三つ組みは、kホップ近傍からエッジ重み付きの近接性を保つようにサンプリングされる。
• モデルは、ノード表現を最適化するために三つ組みエネルギーに基づく平方指数的対照損失を採用し、意味的に類似したノードが潜在空間で近接するように促進する。
• 直前のタイムスティルのハイパーパrameterが、各新しいタイムスティルにおけるエンコーダーの初期化に使用され、訓練の安定性と誘導的バイアスを確保する。
• 有効な不確実性次元 $D_u$ に応じて潜在次元を動的に調整することで、埋め込みサイズの適応的サポートを実現する。
• 学習された多変量正規分布の分散を用いて不確実性を定量化し、リアルタイムでの不確実性モニタリングと耐性評価を可能にする。

Figure 1: Schematic diagram of our proposed DynG2G framework for stochastic temporal graph embedding. The dynamic graph $G$ is composed of $T$ graph snapshots. To learn the latent graph representations for the $\mathcal{G}=\{G_{1},G_{2},...,G_{T}\}$ over $T$ timestamps (vertices and links in red are

実験結果

リサーチクエスチョン

• RQ1 確率的グラフ埋め込み手法は、進化するグラフにおける時間的ダイナミクスを効果的に捉えつつ、ノード埋め込みの不確実性を定量化できるか？
• RQ2 動的グラフにおける最適埋め込み次元 $L_o$ と内在的不確実性次元 $D_u$ の間にはどのような関係があるか？
• RQ3 DynG2G は、多様なグラフベンチマークにおいて、既存の決定的および確率的手法を上回る時間的リンク予測性能を示せるか？
• RQ4 DynG2G における不確実性定量化は、各タイムスティルにおける埋め込み次元の適応的選択を支援できるか？
• RQ5 DynG2G は、サイズやダイナミクスが異なるグラフにおいて、計算効率と訓練の安定性をどのように維持できるか？

主な発見

• DynG2G は、ノード数が96〜87,626、エッジ数が13,398〜4,870,863の8つの多様なベンチマークにおいて、時間的リンク予測で最先端の性能を達成した。
• 普遍的な関係が同定された：すべてのベンチマークで $L_o = D_u$ が成り立つ。これは、不確実性定量化が動的システムの内在次元を正しく捉えていることを示している。
• 異なる埋め込みサイズにおいても、1エポックあたりの計算コストは一貫しており、1つのGPU上で平均して0.67秒（Reality Mining）から60.5秒（Facebook）の範囲で変動した。
• 不確実性推定値は滑らかで、初期化に依存せず、UCIベンチマークを除いて一貫性を示した。UCIベンチマークは不規則なダイナミクスを示した。
• 埋め込み次元を $L \geq D_u$ に設定することで、埋め込みサイズの適応的選択が可能となり、各タイムスティルにおける最適な埋め込みサイズへの原理的アプローチを提供する。
• DynG2G は頑健性とスケーラビリティを示し、Digg のような大規模グラフではGPUメモリ使用量がピークで5GBに達したが、Reality Mining のような小規模グラフでは2GB未満に保たれた。

Figure 2: Visualization of the evolving dynamics of two temporal graphs for two of our eight benchmarks: synthetic SBM dataset (left) and Digg (right). Top row: snapshots of the two datasets at different timestamps (indicated by the number in each image). Bottom row: Growth rate of edges as a functi