[논문 리뷰] Variational Graph Auto-Encoders

Thomas Kipf, Max Welling|arXiv (Cornell University)|2016. 11. 21.

Advanced Graph Neural Networks참고 문헌 8인용 수 897

한 줄 요약

본 논문은 그래프 구조 데이터에 대한 비지도 학습을 위한 확률적 프레임워크인 Variational Graph Auto-Encoders(VGAE)를 도입한다. 그래프 컨볼루션 인코더와 내부곱 디코더를 사용하여 링크 예측을 수행하고, 특징이 성능을 향상시킨다.

ABSTRACT

We introduce the variational graph auto-encoder (VGAE), a framework for unsupervised learning on graph-structured data based on the variational auto-encoder (VAE). This model makes use of latent variables and is capable of learning interpretable latent representations for undirected graphs. We demonstrate this model using a graph convolutional network (GCN) encoder and a simple inner product decoder. Our model achieves competitive results on a link prediction task in citation networks. In contrast to most existing models for unsupervised learning on graph-structured data and link prediction, our model can naturally incorporate node features, which significantly improves predictive performance on a number of benchmark datasets.

연구 동기 및 목표

• 무방향 그래프에서의 비지도 학습을 위한 확률적 잠재 변수 모델 개발.
• 잠재 노드 임베딩의 변분 후분포를 매개화하기 위해 2계층 GCN 활용.
• 그래프를 위한 의미 있는 잠재 표현을 학습하기 위한 변분 하한값(variational lower bound)으로 학습.
• 특징이 있을 때 성능이 향상되는지 확인하고, 특히 노드 특징이 제공될 때의 링크 예측 성능 개선을 시연.
• 기준 그래프 임베딩 방법과 비교하고 특징 사용 및 사전분포의 효과를 논의.

제안 방법

• 잠재 변수 z_i를 각 노드마다 두 계층 GCN으로 매개화된 Gaussian 후분분포 q(z_i|X,A)를 갖는 VGAE 정의.
• A_ij|z_i,z_j ~ Bernoulli(sigmoid(z_i^T z_j))인 생성모형 p(A|Z) 사용.
• L = E_{q(Z|X,A)}[log p(A|Z)] - KL[q(Z|X,A)||p(Z)], with p(Z)=N(0,I)를 통해 변분 하한을 최적화.
• 재매개화(trick)와 전체 배치 경사하강법으로 학습.
• A를 시그모이드는 재구성으로 Z Z^T를 사용하는 비확률적 GAE 변형 제공.
• 특징 포함(X 사용)과 특징 없는 설정(항등 행렬 사용)으로 실험.
• 링크 예측에서 VGAE/GAE를 스펙트럴 클러스터링 및 DeepWalk 기준선과 비교.

실험 결과

연구 질문

• RQ1 그래프의 노드에 대해 비지도 방식으로 의미 있는 잠재 임베딩을 학습할 수 있는가?
• RQ2 노드 특징 X를 통합하면 특징 없는 변형보다 링크 예측 성능이 향상되는가?
• RQ3 VGAE/GAE가 인용 네트워크에서 기존 기준선(스펙트럴 클러스터링, DeepWalk)과 어떻게 비교되는가?
• RQ4 확률적 사전(Z의 가우시안 분포)을 내부곱 디코더와 함께 사용할 때 성능에 어떤 영향이 있는가?

주요 결과

방법	Cora AUC	Cora AP	Citeseer AUC	Citeseer AP	Pubmed AUC	Pubmed AP
SC tang2011leveraging	84.6±0.01	88.5±0.00	80.5±0.01	85.0±0.01	84.2±0.02	87.8±0.01
DW perozzi2014deepwalk	83.1±0.01	85.0±0.00	80.5±0.02	83.6±0.01	84.4±0.00	84.1±0.00
GAE*	84.3±0.02	88.1±0.01	78.7±0.02	84.1±0.02	82.2±0.01	87.4±0.00
VGAE*	84.0±0.02	87.7±0.01	78.9±0.03	84.1±0.02	82.7±0.01	87.5±0.01
GAE	91.0±0.02	92.0±0.03	89.5±0.04	89.9±0.05	96.4±0.00	96.5±0.00
VGAE	91.4±0.01	92.6±0.01	90.8±0.02	92.0±0.02	94.4±0.02	94.7±0.02

• VGAE와 GAE가 인용 네트워크의 링크 예측에서 경쟁력 있는 성능을 보인다.
• 노드 특징을 통합하면 데이터셋 전체에서 예측 성능이 크게 향상된다.
• 특징 없는 변형(GAE*, VGAE*)은 합리적으로 성능이 나오지만 일반적으로 특징이 있는 모델보다 낮다.
• 특징이 있는 GAE/VGAE가 대부분의 지표에서 Cora, Citeseer, Pubmed 데이터셋에서 기준선보다 우수하다.
• 가우시안 사전이 내부곱 디코더와 함께 사용할 때 최적의 선택이 아닐 수 있으며, 더 나은 사전 또는 모델의 여지가 있음을 시사한다.
• 전체 배치 경사하강법과 재매개화 트릭으로 학습되었으며, 향후 확장성 개선이 필요하다.