[논문 리뷰] Conditional Network Embeddings

Bo Kang, Jefrey Lijffijt외 1명|arXiv (Cornell University)|2018. 05. 19.

Advanced Graph Neural Networks참고 문헌 11인용 수 12

한 줄 요약

이 논문은 베이지안 추론을 사용하여 노드의 차수 또는 블록 구조와 같은 사전 구조 지식을 조건으로 삼는 확률적 프레임워크인 조건부 네트워크 임베딩(CNE)을 소개한다. 네트워크와 임베딩을 함께 모델링하기 위해 우도 함수를 사용함으로써, CNE는 계산 복잡도를 증가시키지 않으면서도 링크 예측 및 다중 레이블 분류에서 최신 기법들을 능가하는 성능을 달성한다.

ABSTRACT

Network Embeddings (NEs) map the nodes of a given network into $d$-dimensional Euclidean space $\mathbb{R}^d$. Ideally, this mapping is such that `similar' nodes are mapped onto nearby points, such that the NE can be used for purposes such as link prediction (if `similar' means being `more likely to be connected') or classification (if `similar' means `being more likely to have the same label'). In recent years various methods for NE have been introduced, all following a similar strategy: defining a notion of similarity between nodes (typically some distance measure within the network), a distance measure in the embedding space, and a loss function that penalizes large distances for similar nodes and small distances for dissimilar nodes. A difficulty faced by existing methods is that certain networks are fundamentally hard to embed due to their structural properties: (approximate) multipartiteness, certain degree distributions, assortativity, etc. To overcome this, we introduce a conceptual innovation to the NE literature and propose to create \emph{Conditional Network Embeddings} (CNEs); embeddings that maximally add information with respect to given structural properties (e.g. node degrees, block densities, etc.). We use a simple Bayesian approach to achieve this, and propose a block stochastic gradient descent algorithm for fitting it efficiently. We demonstrate that CNEs are superior for link prediction and multi-label classification when compared to state-of-the-art methods, and this without adding significant mathematical or computational complexity. Finally, we illustrate the potential of CNE for network visualization.

연구 동기 및 목표

• 표준 네트워크 임베딩이 약간의 k-파트리티 또는 힘의 법칙에 따라 분포된 차수를 가진 구조적으로 복잡한 네트워크를 표현하는 데에 근본적인 한계를 해결하기 위해.
• 유클리드 기하학만으로는 포착할 수 없는 정보를 임베딩 공간에서 최대한으로 확보하기 위해.
• 노드의 차수나 커뮤니티 구조와 같은 사전 지식을 원칙적이고 확률적인 방식으로 임베딩 과정에 통합하기 위해.
• 기존의 구조적 정보를 제거하고 잔여 네트워크 구조를 강조함으로써 더 정보가 풍부하고 해석 가능한 네트워크 시각화를 가능하게 하기 위해.
• 구조적 사전 지식에 기반한 임베딩 조건화가 링크 예측 및 다중 레이블 분류와 같은 후행 작업에서 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• CNE는 네트워크와 임베딩의 결합 확률을 모델링하기 위해 베이지안 프레임워크를 사용하며, 사전 분포는 노드의 차수나 블록 소속성과 같은 알려진 구조적 특성을 포함한다.
• 메서드는 베이즈 정리에 따라 네트워크와 사전 지식가지 임베딩의 사후 분포를 유도하며, 이는 최대우도 추정을 통해 최대화된다.
• 대규모 네트워크에 대한 확장성을 확보하기 위해 블록 확률적 경사 하강법을 제안한다.
• 손실 함수는 임베딩 공간 내의 근접성과 네트워크의 구조적 유사성 간의 균형을 맞추며, 이는 사전 분포에 의해 가중된다.
• 임베딩을 잠재 변수로 간주하고 네트워크 구조와 함께 함께 학습함으로써, 임베딩이 비트리비얼한 잔여 관계에 집중할 수 있도록 한다.
• 모델은 유연한 사전 지식을 지원하며, 차수 분포나 커뮤니티 블록 구조를 포함하여 맞춤형 임베딩 학습이 가능하다.

실험 결과

연구 질문

• RQ1 사전 구조 지식(예: 노드의 차수 또는 블록 구조)에 기반해 네트워크 임베딩을 조건화하는 것이 링크 예측 및 다중 레이블 분류 작업의 성능 향상에 기여하는가?
• RQ2 노드의 차수나 커뮤니티 구조에 기반한 링크에 대한 사전 분포를 통합함으로써 유클리드 임베딩의 표현력은 어떻게 향상되는가?
• RQ3 CNE는 계산 복잡도를 증가시키지 않으면서도 최신 기법들을 얼마나 뛰어나게 성능 향상시킬 수 있는가?
• RQ4 기존의 구조적 패턴을 제거함으로써 CNE는 더 해석 가능하고 정보가 풍부한 시각화를 가능하게 하는가?
• RQ5 CNE의 확률적 공식화는 이분법적 또는 힘의 법칙 네트워크와 같은 도전적인 위상 구조를 가진 네트워크에서 더 나은 일반화 성능을 제공하는가?

주요 결과

• CNE는 저명한 벤치마크 네트워크(예: 논문 인용 및 소셜 네트워크 포함)에서 링크 예측 정확도에서 최신 기법들을 뛰어넘는 성능을 보였다.
• 다중 레이블 분류 작업에서 CNE는 기존 방법보다 높은 F1 점수를 기록했으며, 특히 노드의 차수와 같은 사전 지식이 통합된 경우에 두드러진 성능 향상을 보였다.
• CNE는 최신 기법들과 유사한 확장성을 유지하며, 블록 확률적 경사 하강법 덕분에 대규모 네트워크에서 효율적인 훈련이 가능했다.
• CNE는 2차원 직접 시각화를 가능하게 하여, 사전 지식을 초월한 잔여 네트워크 구조(예: 매트릭스 구조의 기업 네트워크에서 팀 구성)를 명확히 드러냈다.
• 블록 구조나 차수 분포와 같은 사전 지식을 사용할 경우, 임베딩 공간은 학문 프로그램에 따라 그룹화된 과목과 같은 기능적 관계를 더 잘 포착했다.
• 실험 결과는 CNE가 사전 지식에 이미 포함된 바가 아닌 구조적 관계에 집중함으로써 더 의미 있고 정보가 풍부한 표현을 포착함을 확인했다.