[논문 리뷰] Deep Gaussian Embedding of Graphs: Unsupervised Inductive Learning via Ranking

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|2017. 07. 12.

Advanced Graph Neural Networks참고 문헌 32인용 수 188

한 줄 요약

Graph2Gauss는 비지도, inductive 프레임워크에서 노드 임베딩을 가우시안 분포로 학습하며, 다중 홉 이웃에 대한 개인화 랭킹 목표를 사용해 불확실성과 네트워크 구조를 포착한다.

ABSTRACT

Methods that learn representations of nodes in a graph play a critical role in network analysis since they enable many downstream learning tasks. We propose Graph2Gauss - an approach that can efficiently learn versatile node embeddings on large scale (attributed) graphs that show strong performance on tasks such as link prediction and node classification. Unlike most approaches that represent nodes as point vectors in a low-dimensional continuous space, we embed each node as a Gaussian distribution, allowing us to capture uncertainty about the representation. Furthermore, we propose an unsupervised method that handles inductive learning scenarios and is applicable to different types of graphs: plain/attributed, directed/undirected. By leveraging both the network structure and the associated node attributes, we are able to generalize to unseen nodes without additional training. To learn the embeddings we adopt a personalized ranking formulation w.r.t. the node distances that exploits the natural ordering of the nodes imposed by the network structure. Experiments on real world networks demonstrate the high performance of our approach, outperforming state-of-the-art network embedding methods on several different tasks. Additionally, we demonstrate the benefits of modeling uncertainty - by analyzing it we can estimate neighborhood diversity and detect the intrinsic latent dimensionality of a graph.

연구 동기 및 목표

• 그래프의 노드 표현 학습을 불확실성과 inductive 일반화의 관점에서 동기화한다.
• 노드의 불확실성을 포착하기 위해 노드 임베딩을 가우시안으로 제안한다.
• 다중 홉 이웃에 대한 비지도화된 개인화 순위를 개발한다.
• 깊은 인코더를 통해 노드 속성으로 임베딩을 매핑하여 유도 학습을 가능하게 한다.

제안 방법

• 각 노드 i를 저차원 공간에서 N(mu_i, Sigma_i) 가우시안으로 표현한다.
• 깊은 인코더를 사용해 노드 속성 x_i를 mu_i와 Sigma_i(대각)로 매핑한다.
• 비대칭 KL 발산 delta(hi,hj)=DKL(Nj||Ni)을 임베딩 간 비유사도(disimilarity)로 정의한다.
• 1-hop 노드가 2-hop보다 가깝도록 개인화 랭킹을 부여한다(최대 K hop까지).
• 에너지 E_ijk=DKL(N_jk||N_i)와 E_ijl=DKL(N_jl||N_i) 간의 제곱-지수 손실을 유효한 트리플에 대해 최적화한다.
• 편향되지 않은 그래디언트 추정과 확장 가능한 학습을 보장하기 위해 노드-고정 샘플링을 채택한다.
• 속성 정보를 활용해 보이지 않는 노드로의 유도 일반화를 가능하게 한다.
• 속성이 없을 때 원-핫 인코딩을 사용해 plain 그래프를 지원한다.

실험 결과

연구 질문

• RQ1 속성 그래프에서 불확실성을 포착하기 위해 노드를 분포로 효과적으로 임베딩할 수 있는가?
• RQ2 다중 홉 이웃에 대한 개인화 순위가 비지도 그래프 임베딩을 개선하는가?
• RQ3 인코더가 노드 속성만으로 unseen 노드에 일반화할 수 있는가(유도 학습)?
• RQ4 제안된 방법이 링크 예측 및 노드 분류에서 최첨단 비지도 그래프 임베딩과 어떻게 비교되는가?
• RQ5 임베딩 불확실성은 이웃 다양성과 고유의 잠재 차원성에 대해 어떤 통찰을 제공하는가?

주요 결과

• Graph2Gauss는 Cor a-ML, Cora, Citeseer, DBLP, PubMed 등 여러 실제 데이터 세트에서 최첨단 또는 경쟁력 있는 링크 예측 성능을 달성한다.
• The method outperforms competitors on average AUC and AP metrics for link prediction with embedding size L=128.
• Even the attribute-less variant G2Goh can outperform several baselines on some datasets.
• Graph2Gauss demonstrates strong node classification performance on Cora-ML, Citeseer, and DBLP with unsupervised pretraining.
• The model provides meaningful uncertainty measures that correlate with neighborhood diversity and helps reveal intrinsic latent dimensionality.