[논문 리뷰] Learning Role-based Graph Embeddings

Nesreen K. Ahmed, Ryan A. Rossi외 5명|arXiv (Cornell University)|2018. 02. 07.

Advanced Graph Neural Networks참고 문헌 32인용 수 70

한 줄 요약

Role2Vec는 속성 기반 랜덤 워크를 통해 타입 기반 임베딩을 학습하여 그래프 임베딩을 새로운 노드 및 그래프에 일반화하고, 전통적 방법에 비해 훨씬 낮은 공간 사용으로 AUC를 개선.

ABSTRACT

Random walks are at the heart of many existing network embedding methods. However, such algorithms have many limitations that arise from the use of random walks, e.g., the features resulting from these methods are unable to transfer to new nodes and graphs as they are tied to vertex identity. In this work, we introduce the Role2Vec framework which uses the flexible notion of attributed random walks, and serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many others that leverage random walks. Our proposed framework enables these methods to be more widely applicable for both transductive and inductive learning as well as for use on graphs with attributes (if available). This is achieved by learning functions that generalize to new nodes and graphs. We show that our proposed framework is effective with an average AUC improvement of 16.55% while requiring on average 853x less space than existing methods on a variety of graphs.

연구 동기 및 목표

• 전달 가능한, 귀납적 그래프 임베딩이 정점의 정체성뿐만 아니라 구조적 역할을 포착해야 한다는 필요성을 제시한다.
• 속성/구조적 특징을 사용하여 노드를 소수의 정점 타입으로 매핑하는 Role2Vec 프레임워크를 도입한다.
• 정점 타입을 학습된 임베딩이 타입 간에 공유되도록 하는 속성 기반 랜덤 워크를 개발한다.
• 전이 가능한지, 데이터에 없던 노드나 그래프에도 일반화되는지에 대한 공간 효율성과 전이 가능성을 기존의 전이적(id 기반) 임베딩 방법과 비교하여 Demonstrate한다.

제안 방법

• 노드 속성 X에서 M개의 타입으로 매핑하는 Phi를 정의하되 M은 Nv보다 훨씬 작다.
• 속성 기반 워크 Phi(x_vi)을 도입하여 정점 ID가 아닌 정점 타입의 시퀀스를 생성하도록 무작위 워크를 안내한다.
• P[Phi(x_ci)|Phi(xi)]를 컨텍스트 타입에 대해 소프트맥스와 타입 임베딩을 사용해 곱으로 모델링한다.
• 동일 타입 노드 간 매개변수를 공유하여 SGD로 각 정점 타입의 임베딩을 학습한다.
• Phi에 대해 두 가지 옵션을 제공한다: 속성을 간단히 연결(concatenation)하거나 타입을 형성하는 학습된 저랭크 인자분해를 사용하는 것.
• 공간 복잡도 O(MD + Nv)로 제시하고 M이 Nv에 접근함에 따라 기준 방법으로 수렴함을 보인다.

실험 결과

연구 질문

• RQ1 Role2Vec가 보이지 않는 노드와 그래프에 일반화된 전달 가능한 임베딩을 생성할 수 있는가?
• RQ2 속성 기반 워크를 통해 정점 속성과 구조적 특징을 통합하면 전통적인 랜덤 워크 기반 방법보다 예측 성능이 향상되는가?
• RQ3 정점별 임베딩이 아닌 정점 타입 임베딩 학습의 공간 효율성 이점은 무엇인가?
• RQ4 다양한 Phi 매핑(연결(concatenation) 대 분해(factorization))이 임베딩 품질에 어떤 영향을 미치는가?
• RQ5 속성 기반 랜덤 워크가 근접성-만으로의 방법보다 역할(구조적 유사성)을 더 잘 포착하는가?

주요 결과

그래프	R2V	R2V-DW	N2V	DW	LINE	S2V
bn--cat	0.710	없음	0.688	없음	0.627	0.627
bn--rat--brain	0.748	0.731	0.716	0.716	0.672	0.669
bn--rat--cerebral	0.867	0.846	0.813	0.811	0.709	0.858
ca--CSphd	0.838	0.838	0.768	0.735	0.620	0.791
eco--fweb--baydry	0.681	0.656	0.655	0.627	0.660	0.623
ia--radoslaw--email	0.867	0.847	0.756	0.745	0.769	0.857
soc--anybeat	0.961	0.960	0.854	0.848	0.850	0.883
soc--dolphins	0.656	0.597	0.580	0.498	0.551	0.590
fb--Yale4	0.793	0.793	0.742	0.728	0.763	0.758
web--EPA	0.926	0.925	0.804	0.738	0.768	0.861

• Role2Vec는 다양한 그래프에서 평균 AUC를 16.55% 개선하고 훨씬 낮은 공간 사용(O(853배 평균) 감소)을 달성한다.
• 임베딩은 개별 정점이 아니라 정점 타입에 대해 학습되어 공간 효율성이 크게 향상된다(O(MD + Nv) vs O(NvD)).
• 속성 기반 워크를 사용하여 Role2Vec를 일반화시켜 DeepWalk, node2vec 및 기타 기준선들을 여러 그래프의 링크 예측 작업에서 능가한다.
• Mean operator embedding과 product operator embedding은 각각 기준선 대비 평균 상승 +11.1% 및 +22%를 제공한다.
• Phi는 연결 및 간단한 모티브(2-stars, triangles 등)를 기반으로 하여 경쟁력 있는 결과를 제공하며, 분해 기반 Phi도 비교 가능하다."
• Role2Vec 변형은 대략적으로 기준선 성능에 근접하면서도 공간 효율성은 수 차례 크게 우월하다.