[論文レビュー] Representation Learning over Dynamic Graphs

Rakshit Trivedi, Mehrdad Farajtabar+2 more|arXiv (Cornell University)|Mar 11, 2018

Advanced Graph Neural Networks参考文献 30被引用数 47

ひとこと要約

DyRep は、動的グラフの時間発展ノード埋め込みを学習する帰納的ディープフレームワークであり、時間スケール対応の時点過程と媒介ベースの埋め込み更新を用いて、関連（トポロジー）と通信（相互作用）イベントを共同でモデリング・更新します。

ABSTRACT

How can we effectively encode evolving information over dynamic graphs into low-dimensional representations? In this paper, we propose DyRep, an inductive deep representation learning framework that learns a set of functions to efficiently produce low-dimensional node embeddings that evolves over time. The learned embeddings drive the dynamics of two key processes namely, communication and association between nodes in dynamic graphs. These processes exhibit complex nonlinear dynamics that evolve at different time scales and subsequently contribute to the update of node embeddings. We employ a time-scale dependent multivariate point process model to capture these dynamics. We devise an efficient unsupervised learning procedure and demonstrate that our approach significantly outperforms representative baselines on two real-world datasets for the problem of dynamic link prediction and event time prediction.

研究の動機と目的

• ダイナミックグラフ上で、関連（トポロジー成長）と通信（相互作用）の2つの相互作用プロセスを持つ principled な表現学習の必要性を動機付ける。
• 2つのプロセスを媒介する時間発展ノード埋め込みを学習する統一的な帰納的フレームワークを提案する。
• 多様な時間スケールで非線形ダイナミクスを捉えるための時刻スケール依存の点過程モデルと深い埋め込み更新を開発する。
• 効率的な学習手順を通じて大量イベントへのスケーラビリティを確保する。

提案手法

• グラフ上の2つの時系列過程を定義する：Association（トポロジー成長）と Communication（相互作用）。
• DyRep を3つの核心関数で導入する：Temporal Function（複数時刻スケールの条件付き強度をニューラルネットワークで表現）、Embedding Update Function（深い再帰更新）、Attentive Aggregate Function（強度を用いたアテンションの集約）。
• 適合度スコア g_k(t) = ω_k^T [z^u(t); z^v(t)] を用いて条件付き強度 λ_k^{u,v}(t) を時間スケール依存のsoftplusでパラメータ化する: f_k(x) = ψ_k log(1+exp(x/ψ_k))。
• ノード埋め込みを3項更新で更新する：隣接ノードuからの局所的な埋め込み伝播、ノード自身からの自己伝播、経過時間に基づく外因性駆動（式(4)）を含む。
• 共有確率行列 S と1ホップ近傍を用いた強度ベースのアテンション機構で、近傍情報を集約する。
• 観測イベントの対数尤度を最大化する学習で、survival term の効率的代替を用いてスケーラビリティを実現する（式(7)とアルゴリズム2）。

実験結果

リサーチクエスチョン

• RQ1 ダイナミックグラフで topology の変化と相互作用ダイナミクスの両方を捉える時間発展ノード埋め込みを1つの帰納フレームワークで学習できるか。
• RQ2 時刻スケール対応の時点過程と媒介ベースの埋め込み更新を組み合わせると、動的リンク予測とイベント時間予測でベースラインを上回るか。
• RQ3 強度ベースのアテンション機構は、グラフを介してメソスコープ情報を効果的に更新埋め込みへ伝搬できるか。
• RQ4 イベント数が多くても提案学習手順は予測精度を維持しつつ線形スケールするか。
• RQ5 現実データセットの異なるネットワーク特性に対して、動的リンク予測とイベント時間予測はどう性能を示すか。

主な発見

• DyRep は、実世界の2つのデータセットで動的リンク予測とイベント時間予測の代表的なベースラインを大きく上回る。
• イベントタイプごとに時刻スケールパラメータを学習し、softplus ベースの強度関数を用いることで多尺度ダイナミクスを扱える。
• 埋め込み更新は局所伝播、自身の伝播、外因性駆動を組み合わせてイベント駆動の変化を反映する。
• 強度ベースのアテンション機構により局所近傍を介したメソスコープ情報伝搬が可能になる。
• 学習手順はイベント数に対して線形スケールし、ウェブ規模の動的ネットワークに適用可能である。
• DyRep はコミュニケーションと関連イベントの両方について、社会的進化とGithubデータセットの両方で高い性能を示す。