[논문 리뷰] Dirichlet Graph Variational Autoencoder

Jia Li, Tomasyu Yu외 6명|arXiv (Cornell University)|2020. 10. 09.

Advanced Graph Neural Networks참고 문헌 36인용 수 11

한 줄 요약

이 논문은 Dirichlet 그래프 변동 자동차오디터(DGVAE)를 제안하며, Dirichlet 사전을 사용하여 그래프 클러스터 소속을 잠재 요인으로 모델링하고, VAE 재구성 항목을 스펙트럼으로 유연화된 균형 잡힌 그래프 컷과 연결한다. Heatts는 타일러 급수로 근사한 열 커널을 사용하는 GNN으로, 그래프 생성 및 클러스터링 작업에서 GCN을 능가하는 성능을 보인다.

ABSTRACT

Graph Neural Networks (GNNs) and Variational Autoencoders (VAEs) have been widely used in modeling and generating graphs with latent factors. However, there is no clear explanation of what these latent factors are and why they perform well. In this work, we present Dirichlet Graph Variational Autoencoder (DGVAE) with graph cluster memberships as latent factors. Our study connects VAEs based graph generation and balanced graph cut, and provides a new way to understand and improve the internal mechanism of VAEs based graph generation. Specifically, we first interpret the reconstruction term of DGVAE as balanced graph cut in a principled way. Furthermore, motivated by the low pass characteristics in balanced graph cut, we propose a new variant of GNN named Heatts to encode the input graph into cluster memberships. Heatts utilizes the Taylor series for fast computation of heat kernels and has better low pass characteristics than Graph Convolutional Networks (GCN). Through experiments on graph generation and graph clustering, we demonstrate the effectiveness of our proposed framework.

연구 동기 및 목표

• VAE 기반 그래프 생성에서 잠재 요인의 투명한 해석을 제공하기 위해, 이를 그래프 클러스터 소속으로 모델링한다.
• VAE의 재구성 항목을 스펙트럼으로 유연화된 균형 잡힌 그래프 컷과 연결함으로써, VAE가 그래프 재구성에서 잘 작동하는 이유에 대한 이론적 통찰을 제공한다.
• 균형 잡힌 그래프 컷에서 관찰되는 저통과 필터링 특성을 활용하여, VAE 기반 그래프 생성의 인코더를 향상시킨다.
• 열 커널을 타일러 급수로 효율적으로 계산하는 Heatts라는 새로운 GNN 버전을 개발하여 GCN보다 뛰어난 저통과 필터링 성능을 달성한다.
• 제안된 프레임워크를 그래프 생성 및 클러스터링 작업에 적용하여, 기존 베이스라인보다 향상된 성능을 입증한다.

제안 방법

• 그래프 VAE의 잠재 변수를 가우시안 변수가 아닌 Dirichlet 분포로 분포된 클러스터 소속으로 재정의한다.
• VAE 재구성 항목을 스펙트럼으로 유연화된 균형 잡힌 그래프 컷 목적함수로 재해석함으로써, VAE 학습을 그래프 클러스터링 원리와 연결한다.
• Heatts를 제안하며, 타일러 급수 근사를 사용해 열 커널을 효율적으로 계산함으로써 빠르고 정확한 저통과 필터링을 가능하게 한다.
• Heatts에서 열 커널 기반 메시지 전달을 사용하여 노드 표현을 스무딩함으로써, 스펙트럼 클러스터링의 저통과 행동을 모방한다.
• Heatts를 DGVAE의 인코더로 통합하여 입력 그래프를 클러스터 인식 잠재 표현으로 매핑한다.
• Dirichlet 사전을 사용한 기초 하한 경계(ELBO) 최적화를 통해 모델을 엔드 투 엔드로 학습시켜 그래프 생성 및 클러스터링을 수행한다.

실험 결과

연구 질문

• RQ1 VAE 기반 그래프 생성 모델의 잠재 요인은 어떤 내재된 구조를 나타내는가?
• RQ2 기존의 그래프 클러스터링 목표 함수로 볼 때, VAE의 재구성 항목은 어떻게 이론적으로 해석될 수 있는가?
• RQ3 GNN에서의 저통과 필터링은 그래프 생성 및 클러스터링을 위한 잠재 표현의 품질을 향상시킬 수 있는가?
• RQ4 열 커널 기반 GNN처럼 더 나은 저통과 특성을 지닌 GNN은 표준 GCN보다 그래프 표현 학습에서 뛰어난 성능을 보일 수 있는가?
• RQ5 Dirichlet 사전과 열 커널 기반 인코딩을 사용하는 VAE 프레임워크는 그래프 생성 및 클러스터링에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• DGVAE의 재구성 항목은 수학적으로 스펙트럼으로 유연화된 균형 잡힌 그래프 컷과 동일하며, VAE 성능에 대한 원칙적인 해석을 제공한다.
• 제안된 GNN인 Heatts는 타일러 급수 근사로 얻은 열 커널을 사용함으로써 GCN보다 더 나은 저통과 필터링 성능을 달성하며, 표현 학습을 향상시킨다.
• PubMed, Citeseer, Wiki 데이터셋에서 DGVAE에 Heatts를 적용한 결과, PubMed에서 64.9% 정확도, 25.8% NMI, 66.5% F1을 기록하여 GCN 기반 베이스라인을 능가했다.
• 그래프 클러스터링 작업에서 Heatts 기반 DGVAE는 Citeseer에서 51.3% 정확도, Wiki에서 38.9% 정확도를 기록하며 GCN 기반 모델과 아우터레이션 변형을 모두 초월했다.
• 아우터레이션 연구 결과, Dirichlet 사전과 Heatts 인코더 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 이 프레임워크는 그래프 생성 및 클러스터링에서 뛰어난 성능을 보이며, VAE와 균형 잡힌 그래프 컷 간의 이론적 연결성을 검증한다.