[논문 리뷰] Graph Generation with Variational Recurrent Neural Network

Shih-Yang Su, Hossein Hajimirsadeghi외 1명|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 21인용 수 17

한 줄 요약

이 논문은 그래프 구조와 노드 속성을 순서 기반 자동회귀 VAE 프레임워크를 활용하여 공동으로 모델링하는 변분 순환 신경망인 GraphVRNN을 제안한다. 학습 가능한 사전 분포와 변분 추론을 통합함으로써 GraphVRNN은 복잡한 그래프 분포를 모델링하고 현실적인 구조 및 속성을 생성하는 데 있어 최신 기술 수준의 성능을 달성한다. 특히 대규모 및 이질적인 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Generating graph structures is a challenging problem due to the diverse representations and complex dependencies among nodes. In this paper, we introduce Graph Variational Recurrent Neural Network (GraphVRNN), a probabilistic autoregressive model for graph generation. Through modeling the latent variables of graph data, GraphVRNN can capture the joint distributions of graph structures and the underlying node attributes. We conduct experiments on the proposed GraphVRNN in both graph structure learning and attribute generation tasks. The evaluation results show that the variational component allows our network to model complicated distributions, as well as generate plausible structures and node attributes.

연구 동기 및 목표

• 기존 그래프 생성 모델이 그래프 구조와 노드 속성의 복잡하고 고차원적인 분포를 포괄하지 못하는 한계를 해결하기 위해.
• GraphRNN 프레임워크를 변분 오토에인코더(VAE)로 확장하여 잠재 요인을 모델링하고 생성 능력을 향상시키면서도 확장성을 유지하기 위해.
• BFS 기반의 순서 생성 방식에서 조건부 VAE 설정을 통해 그래프 구조와 노드 속성 분포의 공동 학습을 가능하게 하기 위해.
• 모델이 현실적이며 다양한 그래프를 생성하고, 특히 대규모 및 이질적인 환경에서 복잡한 속성 분포를 정확히 근사할 수 있는 능력을 평가하기 위해.

제안 방법

• 확장성 향상을 위해 그래프를 너비 우선 탐색(BFS) 순열을 이용해 시퀀스로 매핑하여 자동회귀 생성을 가능하게 한다.
• 잠재 변수 $ z_i $ 를 활용해 공동 분포 $ p(S^ au, X^ au) $ 를 모델링하는 조건부 변분 오토에인코더(CVAE)를 적용한다. 여기서 $ S^ au $ 는 간선 시퀀스이고 $ X^ au $ 는 속성 시퀀스이다.
• 잠재 코드를 추론하기 위해 인식 네트워크 $ q_ heta(z_i | S_{\bullet}^{ au}, X_{\bullet}^{ au}) $ 와 잠재 변수의 사전 분포를 모델링하기 위해 사전 네트워크 $ p_ heta(z_i | S_{<i}^{ au}, X_{<i}^{ au}) $ 를 사용한다.
• 재구성 손실과 사후 분포와 사전 분포 간의 KL 발산을 포함한 변분 하한(ELBO)을 최적화하며, 하이퍼파rameter $ \beta $ 가 사후와 사전 간의 트레이드오프를 조절한다.
• 디코더를 두 개의 헤드로 분리한다: 하나는 잠재 코드와 이전의 히든 상태를 조건으로 간선 연결 $ S_i^ au $ 를 예측하고, 다른 하나는 노드 속성 $ X_i^ au $ 를 생성한다.
• 노드 수준의 RNN 간에 가중치를 공유함으로써 파라미터 효율성을 유지하고 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GraphRNN과 같은 결정론적 모델에 비해 변분 순환 모델이 그래프 구조와 노드 속성 간의 복잡한 의존성을 더 효과적으로 포착할 수 있는가?
• RQ2 학습 가능한 사전 네트워크의 포함이 대규모 또는 이질적인 그래프에서 복잡한 그래프 분포를 모델링하는 데 어떻게 기여하는가?
• RQ3 변분 구성 요소가 모델의 다양하고 현실적인 그래프 구조 및 속성 분포 생성 능력을 어느 정도 향상시키는가?
• RQ4 GraphVRNN의 성능은 특히 속성 생성과 구조 학습 작업 간에 하이퍼파rameter $ \beta $ 에 대해 얼마나 민감한가?

주요 결과

• Com-mix 데이터셋에서 GraphVRNN은 degree MMD를 크게 낮춰, GraphRNN 및 GraphVRNN-nlp에 비해 더 뛰어난 복잡한 내부 연결 확률 모델링 능력을 보였다.
• Com-attr 데이터셋에서 $ \beta = 0.5 $ 일 때 GraphVRNN은 전체 그래프 속성 분포의 Earth Mover’s Distance(EMD)를 0.113으로 줄여, GraphRNN(0.460)과 GraphVRNN-nlp(0.290)를 모두 압도하여 속성 분포 근사 능력이 뛰어나다는 것을 입증했다.
• 구조 학습 작업에서 GraphVRNN은 $ \beta $ 에 대해 민감하지 않음을 보여, 다양한 정규화 강도에서도 안정적인 성능을 유지함을 시사한다.
• $ \beta $ 를 0.5로 조정함으로써 속성 생성 성능이 향상되었으며, 특히 Com2에서 EMD가 0.095로 감소하여 더 유연한 사전 분포가 분포 모델링 능력을 향상시킨다는 것을 보여준다.
• GraphRNN은 결정론적 추론으로 인해 모드 붕괴 경향이 있어 밀도도에서 생성된 속성의 분포가 현실적이지 않지만, GraphVRNN은 더 현실적인 속성 분포를 생성함을 확인했다.
• 60개 노드까지의 더 큰 그래프에서도 강력한 성능을 유지하여, 복잡하고 대규모 환경에서도 확장성과 강건성을 입증했다.