[論文レビュー] Watch Your Step: Learning Node Embeddings via Graph Attention

Sami Abu-El-Haija, Bryan Perozzi+2 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Graph Neural Networks被引用数 140

ひとこと要約

この論文は Graph Attention を導入し、ランダムウォークベースのグラフ埋め込みの学習可能なコンテキスト分布を学習し、エンドツーエンド訓練で埋め込みを得ることにより、リンク予測の最先端結果を達成する。

ABSTRACT

Graph embedding methods represent nodes in a continuous vector space, preserving information from the graph (e.g. by sampling random walks). There are many hyper-parameters to these methods (such as random walk length) which have to be manually tuned for every graph. In this paper, we replace random walk hyper-parameters with trainable parameters that we automatically learn via backpropagation. In particular, we learn a novel attention model on the power series of the transition matrix, which guides the random walk to optimize an upstream objective. Unlike previous approaches to attention models, the method that we propose utilizes attention parameters exclusively on the data (e.g. on the random walk), and not used by the model for inference. We experiment on link prediction tasks, as we aim to produce embeddings that best-preserve the graph structure, generalizing to unseen information. We improve state-of-the-art on a comprehensive suite of real world datasets including social, collaboration, and biological networks. Adding attention to random walks can reduce the error by 20% to 45% on datasets we attempted. Further, our learned attention parameters are different for every graph, and our automatically-found values agree with the optimal choice of hyper-parameter if we manually tune existing methods.

研究の動機と目的

• グラフ埋め込みにおける固定ハイパーパラメータを、逆伝播で学習される訓練可能なパラメータに置換することを動機づける。
• グラフ遷移行列のべき級数上にアテンション機構を提案しランダムウォークを導く。
• 出現統計の閉形式の期待値を導出しエンドツーエンド訓練を可能にする。
• 多様な実世界グラフでリンク予測性能と頑健性の向上を実証する。

提案手法

• Represent embeddings as g(Y) = L × R^T with Y = [L|R].
• Set f(A) to the expectation of the co-occurrence matrix D produced by random walks, i.e., E[D].
• Introduce a context distribution Q over walk lengths and express E[D] as E[D;Q] = P^(0) ∑k Q_k (T^k), where T is the transition matrix of the graph.
• Parameterize Q via a Graph Attention Model as Q = softmax(q) and learn q jointly with embeddings.
• Extend to an infinite power-series attention by softmax over an infinite set of powers, i.e., E[D^{softmax[∞]}; q] = P^(0) lim_{C→∞} ∑k softmax(q)_k (T^k).
• Train by maximizing/minimizing the NLGL objective with attention parameters, while keeping inference-time parameters separate.

実験結果

リサーチクエスチョン

• RQ1 アテンションパラメータはランダムウォークベースの埋め込みに対してグラフ固有のコンテキスト分布を学習できるか？
• RQ2 学習されたコンテキスト分布は手動で調整された C および固定コンテキスト方式と比較してリンク予測性能にどのように影響するか？
• RQ3 提案されたグラフアテンション機構は多様なグラフタイプ（ソーシャル、コラボレーション、生物学的）に対して一般化し、ハイパーパラメータの選択に対して頑健であり続けるか？

主な発見

データセット	次元	隣接行列	シミュレーションによる D	グラフアテンション	誤差削減	固有マップ	SVD	DNGR	node2vec C=2	node2vec C=5	AsymProj	私たちの手法 (NLGL)
wiki-vote	64	61.3	86.0	59.8	64.4	63.6	91.7	93.8±0.13	25.2%	25.2%
ego-Facebook	64	96.4	96.7	98.1	99.1	99.0	97.4	99.4±0.10	33.3%	33.3%
ego-Facebook	128	95.4	94.5	98.4	99.3	99.2	97.3	99.5±0.03	28.6%	28.6%
ca-AstroPh	64	82.4	91.1	93.9	97.4	96.9	95.7	97.9±0.21	19.2%	19.2%
ca-AstroPh	128	82.9	92.4	96.8	97.7	97.5	95.7	98.1±0.49	24.0%	24.0%
ca-HepTh	64	80.2	79.3	86.8	90.6	91.8	90.3	93.6±0.06	22.0%	22.0%
ca-HepTh	128	81.2	78.0	89.7	90.1	92.0	90.3	93.9±0.05	23.8%	23.8%
PPI	64	70.7	75.4	76.7	79.7	70.6	82.4	89.8±1.05	43.5%	43.5%
PPI	128	73.7	71.2	76.9	81.8	74.4	83.9	91.0±0.28	44.2%	44.2%

• Graph Attention モデルは固定コンテキストベースラインと比較して複数の実世界データセットでリンク予測を大幅に改善し、誤差を最大で20%–40%削減。
• Learned attention weights Q vary by dataset and often align with grid-search results over fixed context windows, indicating the model discovers appropriate short- vs. long-range dependencies per graph.
• The method remains robust to hyper-parameter choices (C and regularization β), maintaining performance across a wide range of settings.
• On node classification tasks (Cora, Citeseer) the unsupervised embeddings yield better separation than competitive baselines, even without node features during training.
• The attention parameters are learned only during training (not used for inference), enabling end-to-end optimization without inference-time complexity increases.