[논문 리뷰] Stochastic Blockmodels meet Graph Neural Networks

Nikhil Mehta, Lawrence Carin외 1명|arXiv (Cornell University)|2019. 05. 14.

Advanced Graph Neural Networks인용 수 17

한 줄 요약

이 논문은 깊이 있는 생성 모델 DGLFRM을 제안하며, 희소한 변분 자동차오디너( variational autoencoder, VAE)를 통해 오버lapping 스토케스틱 블록모델(overlapping stochastic blockmodels, OSBM)과 그래프 신경망( graph neural networks, GNNs)을 통합한다. 이는 빠른 추론과 함께 해석 가능하고 확장 가능한 노드 임베딩을 가능하게 한다. GNN 기반의 인식 모델과 희소한 이진 잠재 특징에 대한 베타-베르누이 prior를 결합함으로써, 사전에 커뮤니티 수를 지정할 필요 없이 최신 기술 수준의 링크 예측과 자연스러운 커뮤니티 발견을 달성한다.

ABSTRACT

Stochastic blockmodels (SBM) and their variants, $e.g.$, mixed-membership and overlapping stochastic blockmodels, are latent variable based generative models for graphs. They have proven to be successful for various tasks, such as discovering the community structure and link prediction on graph-structured data. Recently, graph neural networks, $e.g.$, graph convolutional networks, have also emerged as a promising approach to learn powerful representations (embeddings) for the nodes in the graph, by exploiting graph properties such as locality and invariance. In this work, we unify these two directions by developing a \emph{sparse} variational autoencoder for graphs, that retains the interpretability of SBMs, while also enjoying the excellent predictive performance of graph neural nets. Moreover, our framework is accompanied by a fast recognition model that enables fast inference of the node embeddings (which are of independent interest for inference in SBM and its variants). Although we develop this framework for a particular type of SBM, namely the \emph{overlapping} stochastic blockmodel, the proposed framework can be adapted readily for other types of SBMs. Experimental results on several benchmarks demonstrate encouraging results on link prediction while learning an interpretable latent structure that can be used for community discovery.

연구 동기 및 목표

• 기존 OSBM의 한계, 즉 표현력의 제한성과 MCMC 기반 추론의 느림을 해결하기 위해 딥 생성 모델링과 그래프 신경망을 통합한다.
• 스토케스틱 그래디언트 변분 베이즈( stochastic gradient variational Bayes, SGVB) 인식 모델을 사용하여 오버lapping 스토케스틱 블록모델에서 빠르고 확장 가능한 추론을 가능하게 한다.
• 딥 네트워크 디코더를 통한 비선형 링크 예측을 통해 OSBM의 해석 가능성은 유지하면서도 모델링 능력을 향상시킨다.
• 잠재 특징에 비모수적 스틱 브레이킹 prior를 적용하여 활성 커뮤니티의 수를 수동으로 지정하지 않고도 자동으로 추론할 수 있도록 한다.
• 학습된 희소 이진 임베딩이 정확한 링크 예측과 의미 있는 오버lapping 커뮤니티 탐지 모두를 지원함을 입증한다.

제안 방법

• 노드 임베딩에서 링크 확률을 모델링하기 위해 깊이 있는 신경망을 사용하는 비선형 생성기/디코더를 갖춘 희소 변분 자동차오디너( variational autoencoder, VAE) 기반의 딥 생성 모델 DGLFRM을 제안한다.
• 베르누이 및 베타 분포에 대한 재생성 기법을 사용하여 GNN 기반의 인식 모델(에코더)을 통해 빠르고 종단 간 추론이 가능한 노드 임베딩을 실현한다.
• 희소하고 이진적인 노드 임베딩을 모델링하기 위해 베타-베르누이 프로세스 prior를 사용하며, 이는 활성 커뮤니티 수의 자동 추론을 가능하게 한다.
• 공액성 제약을 회피하고 대규모 그래프에서 효율적이고 확장 가능한 훈련을 가능하게 하기 위해 스토케스틱 그래디언트 변분 베이즈( stochastic gradient variational Bayes, SGVB) 추론을 적용한다.
• 생성기의 링크 확률을 노드 임베딩의 이차형 곱의 비선형 함수로 계산함으로써 선형 OSBM을 초월한 표현력을 향상시킨다.
• 다양한 GNNs(예: GCN)를 에코더로 사용하고, 다양한 엣지 유형에 적합한 확률 분포(예: 베르누이-포아송)를 허용함으로써 유연한 아키텍처 선택을 지원한다.

실험 결과

연구 질문

• RQ1 OSBM과 GNNs를 통합한 딥 생성 모델이 기존 OSBM이나 표준 GNNs보다 더 우수한 링크 예측 성능을 달성할 수 있는가?
• RQ2 제안된 희소 VAE 프레임워크가 MCMC나 평균장 변분 추론에 의존하지 않고 오버lapping 스토케스틱 블록모델에서 빠르고 확장 가능한 추론을 가능하게 하는가?
• RQ3 모델이 실제 지식 기반 또는 도메인 특화 그룹화와 일치하는 해석 가능한 오버lapping 커뮤니티 구조를 학습하는가?
• RQ4 비모수적 prior가 수동으로 지정할 필요 없이 활성 커뮤니티 수를 자동으로 추론할 수 있는가?
• RQ5 링크 예측과 커뮤니티 탐지 측면에서 기존 GNN 기반 모델(VGAE 등)과 비교해 성능이 어떻게 되는가?

주요 결과

• DGLFRM은 다양한 벤치마크에서 링크 예측 성능에서 최신 기술 수준을 달성하며, 기존 OSBM 및 VGAE와 같은 GNN 기반 모델을 모두 능가한다.
• 모델은 자연스럽게 오버lapping 커뮤니티를 식별할 수 있는 희소하고 이진적인 잠재 구조를 학습하며, 시뮬레이션 데이터에서 추론된 소속 관계가 실제 값과 매우 유사하다.
• 인식 모델 덕분에 노드 임베딩의 추론 속도가 기존 MCMC 및 평균장 변분 추론보다 크게 향상되어 속도와 확장성 면에서 뛰어나다.
• 스틱 브레이킹 prior는 효과적인 커뮤니티 수를 자동으로 추론할 수 있게 하며, 사후 추론 과정에서 임베딩 행렬의 비활성 컬럼이 비활성화된다.
• NIPS12 데이터셋에 대한 정성적 분석 결과, 학습된 커뮤니티는 일관된 분야를 형성하며, 저자들이 다수의 커뮤니티에 정확히 할당되는 등 의미 있는 결과를 보였다(예: Sejnowski는 여러 주제에 동시에 소속됨).
• K-means 등의 후처리 클러스터링이 필요한 밀도적인 가우시안 임베딩을 생성하는 VGAE와 달리, DGLFRM의 희소 이진 임베딩은 추가 단계 없이도 직접적으로 해석 가능한 오버lapping 클러스터링을 지원한다.