[논문 리뷰] node2vec: Scalable Feature Learning for Networks

Aditya Grover, Jure Leskovec|PubMed|2016. 07. 03.

Advanced Graph Neural Networks참고 문헌 32인용 수 229

한 줄 요약

node2vec는 BFS와 DFS 사이를 보간하는 편향된 랜덤 워크를 수행하여 연속적인 노드 임베딩을 학습하고, 네트워크에 대한 확장 가능한 태스크 비의존적 표현 학습을 가능하게 하며 다중 라벨 분류 및 링크 예측을 개선합니다.

ABSTRACT

Prediction tasks over nodes and edges in networks require careful effort in engineering features used by learning algorithms. Recent research in the broader field of representation learning has led to significant progress in automating prediction by learning the features themselves. However, present feature learning approaches are not expressive enough to capture the diversity of connectivity patterns observed in networks. Here we propose <i>node2vec</i>, an algorithmic framework for learning continuous feature representations for nodes in networks. In <i>node2vec</i>, we learn a mapping of nodes to a low-dimensional space of features that maximizes the likelihood of preserving network neighborhoods of nodes. We define a flexible notion of a node's network neighborhood and design a biased random walk procedure, which efficiently explores diverse neighborhoods. Our algorithm generalizes prior work which is based on rigid notions of network neighborhoods, and we argue that the added flexibility in exploring neighborhoods is the key to learning richer representations. We demonstrate the efficacy of <i>node2vec</i> over existing state-of-the-art techniques on multi-label classification and link prediction in several real-world networks from diverse domains. Taken together, our work represents a new way for efficiently learning state-of-the-art task-independent representations in complex networks.

연구 동기 및 목표

• 네트워크의 다운스트림 예측 작업을 지원하기 위해 정보성이 있는 노드 표현의 자동 학습.
• 커뮤니티 구조와 구조적 등가성을 모두 포착하는 유연한 이웃 샘플링 메커니즘 제공.
• SGD를 사용하여 네트워크 이웃을 보존하는 확장 가능한 비지도 목표 개발.
• 링크 예측 작업을 위한 조합 연산자를 통해 노드 표현을 간선 표현으로 확장.

제안 방법

• 노드 임베딩이 주어진 네트워크 이웃을 관찰할 가능성을 극대화한다.
• p와 q 매개변수를 갖는 2차 편향 랜덤 워프로 다양한 이웃을 샘플링한다.
• 비용이 많이 드는 분할 함수 계산을 피하기 위해 확률적 경사 상승 및 음수 샘플링으로 최적화한다.
• 이진 연산자를 노드 임베딩에 적용하여 간선 표현으로 노드 임베딩을 확장한다.
• 전역 프레임워크를 제공하여 BFS 유사 샘플링과 DFS 유사 샘플링을 특수한 경우로 포함한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 이웃을 보존하는 저차원 노드 표현을 어떻게 학습할 수 있는가?
• RQ2 편향된 2차 랜덤 워크가 동질성(homophily)과 구조적 등가성(structural equivalence) 사이를 보간하여 더 풍부한 임베딩을 만들 수 있는가?
• RQ3 node2vec로 학습된 노드 임베딩이 다중 라벨 분류 및 링크 예측과 같은 예측 작업에서 최첨단 방법보다 성능이 개선되는가?
• RQ4 노드 표현을 간선 예측 작업에 효과적인 간선 표현으로 확장할 수 있는가?

주요 결과

알고리즘	블로그카탈로그	PPI	위키피디아
Spectral Clustering	0.0405	0.0681	0.0395
DeepWalk	0.2110	0.1768	0.1274
LINE	0.0784	0.1447	0.1164
node2vec	0.2581	0.1791	0.1552
node2vec settings (p,q)	0.25, 0.25	4, 1	4, 0.5
Gain of node2vec [%]	22.3	1.3	21.8

• node2vec는 다수의 실제 네트워크에서 다중 라벨 분류 및 링크 예측에서 최첨단 방법을 능가하며, 분류에서 최대 26.7%의 향상, 링크 예측에서 최대 12.6%의 향상을 보인다.
• 프레임워크는 워크 전략을 조정함으로써 네트워크 커뮤니티(동질성)와 구조적 역할(구조적 등가성) 모두를 모델링할 수 있다.
• 랜덤 워크는 샘플 재사용이 가능한 확장 가능하고 효율적인 이웃 샘플링을 제공하여 대형 네트워크를 처리할 수 있다.
• 간선 예측 작업을 위한 간선 표현은 노드 임베딩을 간단한 이진 연산자로 구성하여 생성할 수 있다.
• 이 방법은 한정된 라벨 데이터에서도 경쟁력 있는 성능을 보이고 노이즈가 있거나 누락된 간선에 대해 견고하다.