[論文レビュー] Dynamic Graph Representation Learning via Self-Attention Networks

Aravind Sankar, Yanhong Wu+3 more|arXiv (Cornell University)|Dec 22, 2018

Advanced Graph Neural Networks被引用数 64

ひとこと要約

DySATは、構造的アテンションを近傍へ、時間的アテンションを履歴ノード状態へ適用することで、時間とともにノード表現を学習する動的自己注意アーキテクチャを導入し、動的リンク予測を改善します。

ABSTRACT

Learning latent representations of nodes in graphs is an important and ubiquitous task with widespread applications such as link prediction, node classification, and graph visualization. Previous methods on graph representation learning mainly focus on static graphs, however, many real-world graphs are dynamic and evolve over time. In this paper, we present Dynamic Self-Attention Network (DySAT), a novel neural architecture that operates on dynamic graphs and learns node representations that capture both structural properties and temporal evolutionary patterns. Specifically, DySAT computes node representations by jointly employing self-attention layers along two dimensions: structural neighborhood and temporal dynamics. We conduct link prediction experiments on two classes of graphs: communication networks and bipartite rating networks. Our experimental results show that DySAT has a significant performance gain over several different state-of-the-art graph embedding baselines.

研究の動機と目的

• 動的グラフにおいて、瞬時の構造と時間的進化の両方を捉えるノード埋め込みの学習を動機づける。
• 構造的推論と時間的推論を分離する自己注意アーキテクチャを提案する。
• 動的リンク予測タスクにおいて、静的および動的ベースラインを上回る改善を示す。

提案手法

• スナップショット内でノードの隣接ノードから情報を集約する構造的自己注意を導入する。
• 時刻を跨いだノードの履歴を参照する時間的自己注意を導入する。
• 構造ブロックと時間ブロックの両方でマルチヘッド注意を用いてより豊かな表現を得る。
• 複数の構造層と時間層を積み重ね、時間順序付けのための位置エンベディングを含める。
• 局所的な近傍構造を時間とともに維持するためにネガティブサンプリングを用いた動的コンテキスト予測目的で学習する。

実験結果

リサーチクエスチョン

• RQ1 構造的近傍と時間履歴に対する自己注意は、優れた動的ノード表現を生み出すだろうか？
• RQ2 DySATは、複数の実データセットにおける動的リンク予測で、静的および他の動的グラフ埋め込みのベースラインを上回るか？
• RQ3 動的グラフに時間的注意を導入する際の計算コストのトレードオフは何か？

主な発見

手法	Enron Micro-AUC	Enron Macro-AUC	UCI Micro-AUC	UCI Macro-AUC	Yelp Micro-AUC	Yelp Macro-AUC	ML-10M Micro-AUC	ML-10M Macro-AUC
node2vec	83.72 ±0.7	83.05 ±1.2	79.99 ±0.4	80.49 ±0.6	67.86 ±0.2	65.34 ±0.2	87.74 ±0.2	87.52 ±0.3
G-SAGE	82.48 *±0.6	81.88 *±0.5	79.15 *±0.4	82.89 *±0.2	60.95 †±0.1	58.56 †±0.2	86.19 †±0.3	89.92 †±0.1
G-SAGE + GAT	72.52 ±0.4	73.34 ±0.6	74.03 ±0.4	79.83 ±0.2	66.15 ±0.1	65.09 ±0.2	83.97 ±0.3	84.93 ±0.1
GCN-AE	81.55 ±1.5	81.71 ±1.5	80.53 ±0.3	83.50 ±0.5	66.71 ±0.2	65.82 ±0.2	85.49 ±0.1	85.74 ±0.1
GAT-AE	75.71 ±1.1	75.97 ±1.4	79.98 ±0.2	81.86 ±0.3	65.92 ±0.1	65.37 ±0.1	87.01 ±0.2	86.75 ±0.2
DynamicTriad	80.26 ±0.8	78.98 ±0.9	77.59 ±0.6	80.28 ±0.5	63.53 ±0.3	62.69 ±0.3	88.71 ±0.2	88.43 ±0.1
DynGEM	67.83 ±0.6	69.72 ±1.3	77.49 ±0.3	79.82 ±0.5	66.02 ±0.2	65.94 ±0.2	73.69 ±1.2	85.96 ±0.3
DynAERNN	72.02 ±0.7	72.01 ±0.7	79.95 ±0.4	83.52 ±0.4	69.54 ±0.2	68.91 ±0.2	87.73 ±0.2	89.47 ±0.1
DySAT	85.71 ±0.3	86.60 ±0.2	81.03 ±0.2	85.81 ±0.1	70.15 ±0.1	69.87 ±0.1	90.82 ±0.3	93.68 ±0.1

• DySATは4つの動的グラフベンチマークで強力なベースラインに対してマクロAUCを3–4%向上させる。
• DySATは時間ステップ全体でより安定した性能を示し、特に通信ネットワークで顕著である。
• DySATは静的埋め込み（node2vec、GraphSAGE系）および他の動的手法（DynAERNN、DynamicTriad、DynGEM）を上回る。
• 実行時間の測定では、時間的注意を含むDySATは、構造的のみのバリアントと比較して控えめなオーバーヘッドを示す（ML-10MでGPU使用時、ミニバッチあたり0.72秒）
• このアーキテクチャは二段階の注意（構造的→時間的）を介して、局所的な構造と時間的進化の両方を効果的に捉える。
• 時間的注意を追加することで動的リンク予測が改善され、潜在的な多ステップ予測の改善を促す（付録分析）。