[논문 리뷰] Deep Gaussian Embedding of Attributed Graphs: Unsupervised Inductive Learning via Ranking

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|2017. 07. 12.

Advanced Graph Neural Networks인용 수 40

한 줄 요약

Graph2Gauss는 각 노드를 가우시안 분포로 표현하여 표현의 불확실성을 포착하는 비지도, 인덕티브 방법을 제안한다. 노드 간 거리 기반 개인화된 랭킹 손실을 사용하여 구조와 속성을 동시에 활용하며, 링크 예측 및 노드 분류에서 최신 기술을 초월하는 성능을 달성하면서도 미리 보지 않은 노드로의 일반화도 가능하게 한다.

ABSTRACT

Methods that learn representations of nodes in a graph play a critical role in network analysis since they enable many downstream learning tasks. We propose Graph2Gauss - an approach that can efficiently learn versatile node embeddings on large scale (attributed) graphs that show strong performance on tasks such as link prediction and node classification. Unlike most approaches that represent nodes as point vectors in a low-dimensional continuous space, we embed each node as a Gaussian distribution, allowing us to capture uncertainty about the representation. Furthermore, we propose an unsupervised method that handles inductive learning scenarios and is applicable to different types of graphs: plain/attributed, directed/undirected. By leveraging both the network structure and the associated node attributes, we are able to generalize to unseen nodes without additional training. To learn the embeddings we adopt a personalized ranking formulation w.r.t. the node distances that exploits the natural ordering of the nodes imposed by the network structure. Experiments on real world networks demonstrate the high performance of our approach, outperforming state-of-the-art network embedding methods on several different tasks. Additionally, we demonstrate the benefits of modeling uncertainty - by analyzing it we can estimate neighborhood diversity and detect the intrinsic latent dimensionality of a graph.

연구 동기 및 목표

• 점 기반 노드 임베딩의 표현 불확실성 포착 능력 부족 문제를 해결하기 위해.
• 재학습 없이도 미리 보지 않은 노드로 일반화 가능한 비지도, 인덕티브 방법을 개발하기 위해.
• 네트워크 구조와 노드 속성을 동시에 모델링하여 표현 학습의 향상을 위해.
• 유형이 다양한 그래프(방향성/비방향성, 단순/속성 부여된 그래프 포함)에 적용 가능하도록 하기 위해.
• 이론적 해석 가능성 확보를 위해 불확실성 분 析(예: 이웃 다양성 및 잠재 차원 수 추정)을 제공하기 위해.

제안 방법

• 각 노드는 표현의 불확실성을 모델링하기 위해 평균과 공분산을 갖는 가우시안 분포로 임베딩된다.
• 임베딩 공간 내 노드 간 거리 기반으로 개인화된 랭킹 손실이 정의되며, 이는 그래프 구조에 의해 유도되는 자연스러운 순서를 활용한다.
• 대조적 랭킹 목적함수를 통해 네트워크 토폴로지와 노드 속성을 동시에 최적화한다.
• 노드별로 임베딩 함수를 독립적으로 매개변수화함으로써 인덕티브 학습을 달성하며, 이는 이전에 보지 않은 노드에 대한 추론을 가능하게 한다.
• 랭킹 목적함수는 구조적 및 속성 기반 유사도가 높은 노드들이 임베딩 공간에서 더 높은 순위를 차지하도록 보장한다.
• 라벨이 없는 데이터를 사용하여 스토하스틱 최적화를 통해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 점 기반 임베딩 대비 가우시안 분포로 노드 표현을 모델링할 경우, 하류 그래프 학습 작업에서 성능 향상이 이루어지는가?
• RQ2 비지도, 인덕티브 방법이 속성 부여된 그래프에서 미리 보지 않은 노드로 얼마나 잘 일반화되는가?
• RQ3 라벨이 없을 경우, 구조와 속성을 동시에 모델링하면 표현 품질이 어떻게 향상되는가?
• RQ4 임베딩의 불확실성 분석을 통해 이웃 다양성 및 잠재 차원 수와 같은 구조적 특성을 드러낼 수 있는가?
• RQ5 개인화된 랭킹 목적함수는 기존 방법 대비 링크 예측 및 노드 분류 성능 향상에 기여하는가?

주요 결과

• Graph2Gauss는 링크 예측 및 노드 분류 작업에서 여러 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 보였다.
• 가우시안 임베딩을 통한 불확실성 모델링은 이웃 다양성 추정을 가능하게 하여 국소 그래프 구조에 대한 통찰을 제공한다.
• 불확실성 분석을 통해 기저 그래프의 내재된 잠재 차원 수를 드러내며, 복잡성에 대한 데이터 기반 측정 기준을 제공한다.
• 모델은 재학습 없이도 미리 보지 않은 노드로 효과적으로 일반화되며, 강력한 인덕티브 편향을 보였다.
• 개인화된 랭킹 목적함수는 구조적 및 속성 기반의 유사성을 효과적으로 포착하여 하류 작업 성능 향상에 기여했다.
• 실세계 네트워크에서의 실험을 통해 대규모 속성 부여된 그래프에서 이 방법의 강건성과 확장성 확보되었다.