[논문 리뷰] Disentangling Interpretable Generative Parameters of Random and Real-World Graphs

Niklas Stoehr, Emine Yılmaz외 2명|arXiv (Cornell University)|2019. 10. 12.

Advanced Graph Neural Networks참고 문헌 37인용 수 12

한 줄 요약

이 논문은 β-VAE를 사용하여 그래프 구조에서 해석 가능한 생성 매개변수(예: 에르되시-레니 그래프의 n 및 p)를 비지도 학습 방식으로 복원하는 분리 표현 학습 프레임워크를 제안한다. 분리 정규화를 적용한 그래프 오토에인코더를 훈련시켜, 생성 매개변수에 일대일로 대응하는 잠재 변수를 학습하고, 속성 무작위화 및 상호정보 분석을 통해 구조와 노드 속성 간의 의존성을 정량화한다. 이로 인해 합성 데이터에서 MIG 점수 0.335를 달성한다.

ABSTRACT

While a wide range of interpretable generative procedures for graphs exist, matching observed graph topologies with such procedures and choices for its parameters remains an open problem. Devising generative models that closely reproduce real-world graphs requires domain knowledge and time-consuming simulation. While existing deep learning approaches rely on less manual modelling, they offer little interpretability. This work approaches graph generation (decoding) as the inverse of graph compression (encoding). We show that in a disentanglement-focused deep autoencoding framework, specifically Beta-Variational Autoencoders (Beta-VAE), choices of generative procedures and their parameters arise naturally in the latent space. Our model is capable of learning disentangled, interpretable latent variables that represent the generative parameters of procedurally generated random graphs and real-world graphs. The degree of disentanglement is quantitatively measured using the Mutual Information Gap (MIG). When training our Beta-VAE model on ER random graphs, its latent variables have a near one-to-one mapping to the ER random graph parameters n and p. We deploy the model to analyse the correlation between graph topology and node attributes measuring their mutual dependence without handpicking topological properties.

연구 동기 및 목표

• 수동적인 특징 공학 없이 랜덤 및 실제 네트워크 그래프에서 해석 가능한 생성 매개변수(예: n, p)를 식별하는 데 도전하는 것.
• 분리 정규화를 적용한 딥 오토에인코더를 사용해 관측된 그래프 구조의 배경에 있는 생성 메커니즘을 비지도로 탐색하는 것.
• 사전에 선택된 구조적 특징에 의존하지 않고 그래프 구조와 노드 속성 간의 의존성을 정량화하는 것.
• 잠재 공간에서 생성 요소를 분리하여 해석 가능성과 모델 투명성을 향상시키는 방법을 개발하는 것.

제안 방법

• 그래프 컨volution 네트워크(GCN)를 인코더로, 복소화 네트워크를 디코더로 사용하여 β-VAE를 그래프에 적응시킨다. 이는 인접 행렬을 재구성한다.
• 잠재 변수 z를 해석 가능한 생성 매개변수 v로 매핑하는 매개변수 디코더 h를 도입하며, 선형 매핑을 통해 일대일 대응을 강제한다.
• 재구성 손실과 KL 정규화 간의 균형을 맞추기 위해 β-annealing 전략을 사용하여 직교적이고 분리된 잠재 표현을 촉진한다.
• 노드 속성의 무작위화 절차를 사용해 구조와 속성 간의 독립성을 탐사하며, 무작위화된 노드 비율 ΔΩ를 변화시킨다.
• 상호정보 갭(MIG)을 사용해 분리도를 정량화하며, ΔΩ와 잠재 변수의 변화 간 상호정보의 차이를 측정한다.
• 노드 속성이 균일하게 할당된 합성 ER 그래프에서 모델을 훈련하고, 속성 무작위화 하에서 잠재 변수의 이동을 평가한다.

실험 결과

연구 질문

• RQ1 β-VAE 모델의 분리된 잠재 변수가 에르되시-레니 그래프의 n 및 p와 같은 해석 가능한 생성 매개변수를 표현할 수 있는가?
• RQ2 잠재 공간에서 구조 생성 메커니즘과 노드 속성 생성 과정을 얼마나 잘 분리할 수 있는가?
• RQ3 수동으로 선택된 구조적 특징에 의존하지 않고 그래프 구조와 노드 속성 간의 상호의존성을 어떻게 정량화할 수 있는가?
• RQ4 실제 그래프인 마이크로소프트 애카데믹 그래프에 적용했을 때 모델이 분리도를 유지하는가?

주요 결과

• β-VAE 모델은 에르되시-레니 그래프에서 잠재 변수와 생성 매개변수 n 및 p 사이에 거의 일대일 매핑을 달성하여 효과적인 분리도를 확인한다.
• 잠재 변수 z₀ 및 z₁는 노드 속성의 무작위화에 영향을 받지 않으며, 이는 구조적 매개변수(n 및 p)를 코딩하고 있음을 시사한다. 반면 z₂는 속성 변화에 매우 민감하다.
• 속성 무작위화에 대한 MIG 점수 0.335는 구조와 노드 속성 간 중간 정도의 분리도를 나타내며, 독립적인 생성 요소라는 가설을 뒷받침한다.
• 마이크로소프트 애카데믹 그래프에서는 협업 패턴(구조)과 인용 수(노드 속성) 간에 강한 상관관계를 드러내어 실제 응용 환경에서의 유용성을 입증한다.
• 모델은 잠재 공간에서 생성 메커니즘을 성공적으로 분리하여, 기반 그래프 생성 과정의 비지도 탐색을 가능하게 한다.