[論文レビュー] node2vec: Scalable Feature Learning for Networks

Aditya Grover, Jure Leskovec|PubMed|Jul 3, 2016

Advanced Graph Neural Networks参考文献 32被引用数 229

ひとこと要約

node2vecは、BFSとDFSの間を補間する偏ったランダムウォークを実行することにより連続的なノード埋め込みを学習し、ネットワークのスケーラブルでタスク非依存の表現学習を可能にし、マルチラベル分類とリンク予測を改善します。

ABSTRACT

Prediction tasks over nodes and edges in networks require careful effort in engineering features used by learning algorithms. Recent research in the broader field of representation learning has led to significant progress in automating prediction by learning the features themselves. However, present feature learning approaches are not expressive enough to capture the diversity of connectivity patterns observed in networks. Here we propose <i>node2vec</i>, an algorithmic framework for learning continuous feature representations for nodes in networks. In <i>node2vec</i>, we learn a mapping of nodes to a low-dimensional space of features that maximizes the likelihood of preserving network neighborhoods of nodes. We define a flexible notion of a node's network neighborhood and design a biased random walk procedure, which efficiently explores diverse neighborhoods. Our algorithm generalizes prior work which is based on rigid notions of network neighborhoods, and we argue that the added flexibility in exploring neighborhoods is the key to learning richer representations. We demonstrate the efficacy of <i>node2vec</i> over existing state-of-the-art techniques on multi-label classification and link prediction in several real-world networks from diverse domains. Taken together, our work represents a new way for efficiently learning state-of-the-art task-independent representations in complex networks.

研究の動機と目的

• ネットワーク上の下流予測タスクをサポートする有益なノード表現の自動学習。
• コミュニティ構造と構造的同等性の両方を捉える柔軟な近傍サンプリング機構を提供。
• SGDを用いてネットワーク近傍を保存するスケーラブルな教師なし目的を最適化。
• リンク予測タスクのためにノード表現を組成演算子によってエッジ表現へ拡張。

提案手法

• ノードの埋め込みを考慮したときにその近傍ネットワークを観測する尤度を最大化する。
• pとqのパラメータを用いた2次の偏ったランダムウォークで多様な近傍をサンプリングする。
• 高価な分割関数計算を避けるために確率的勾配上昇とネガティブサンプリングで最適化する。
• ノード埋め込みを二項演算子を適用してエッジ表現へ拡張する。
• BFS風とDFS風のサンプリングをそれぞれの特別なケースとして包含する一般的なフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 多様なネットワーク近傍を保存する低次元のノード表現をどう学習できるか。
• RQ2 偏った2次ランダムウォークは同質性と構造的同等性の間を補間してよりリッチな埋め込みを生み出せるか。
• RQ3 node2vecで学習したノード埋め込みは、マルチラベル分類やリンク予測といった予測タスクを最先端手法と比較して改善するか。
• RQ4 ノード表現をエッジ表現へ効果的に拡張してリンク予測タスクを達成できるか。

主な発見

アルゴリズム	BlogCatalog	PPI	Wikipedia
Spectral Clustering	0.0405	0.0681	0.0395
DeepWalk	0.2110	0.1768	0.1274
LINE	0.0784	0.1447	0.1164
node2vec	0.2581	0.1791	0.1552
node2vec settings (p,q)	0.25, 0.25	4, 1	4, 0.5
Gain of node2vec [%]	22.3	1.3	21.8

• node2vecはマルチラベル分類とリンク予測の両方で複数の実世界ネットワークにおいて最先端手法を上回り、分類で最大26.7%、リンク予測で最大12.6%の改善を達成。
• フレームワークは歩行戦略を調整することでネットワークコミュニティ（同質性）と構造的役割（構造的同等性）の両方をモデル化できる。
• ランダムウォークはサンプルの再利用性を備えたスケーラブルで効率的な近傍サンプリングを提供し、大規模ネットワークの処理を可能にする。
• エッジ表現はノード埋め込みを単純な二項演算子で組み合わせることにより構築でき、エッジベースの予測を可能にする。
• この方法はラベル付きデータが限られていても競争力のある性能を示し、ノードがノイズの多いまたは欠落したエッジに対して頑健である。