[논문 리뷰] GraphRNN: A Deep Generative Model for Graphs

Jiaxuan You, Rex Ying외 3명|arXiv (Cornell University)|2018. 02. 24.

Advanced Graph Neural Networks참고 문헌 20인용 수 61

한 줄 요약

GraphRNN은 변화하는 그래프 구조를 조건으로 하여 노드와 엣지 형성을 순차적으로 모델링함으로써 복잡한 그래프를 학습하여 생성하는 딥 추천 생성 모델이다. 이는 모든 기준 모델보다 목표 그래프 분포를 더 잘 매칭하며, 이전의 딥 모델보다 최대 50배 더 큰 구조적 정확도를 가진 다양한 그래프를 생성한다.

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

연구 동기 및 목표

• 비국소적 엣지 종속성이 있는 고차원 그래프 분포를 모델링하는 데 도전하는 것.
• 강한 구조적 가정 없이 학습된 그래프 분포에서 효율적인 샘플링을 가능하게 하는 것.
• 목표 구조적 특성을 잘 따르는 다양한 그래프를 생성할 수 있는 확장 가능한 딥 생성 모델을 개발하는 것.
• 그래프 생성을 위한 종합적인 벤치마크 세트와 새로운 평가 지표를 도입하는 것.

제안 방법

• GraphRNN은 그래프 생성을 순차적 과정으로 모델링하며, 각 단계를 부분적으로 구성된 그래프에 조건화한다.
• 장기적 종속성을 포착하기 위해 RNN 기반 아키텍처를 사용하여 노드 및 엣지 추가 순서를 모델링한다.
• 그래프 생성을 두 단계로 분해한다: 먼저 노드 순서를 생성하고, 그 다음 현재 그래프 구조에 기반하여 엣지를 순차적으로 추가한다.
• 분산을 줄이고 훈련 안정성을 향상시키기 위해 계층적 자동회귀 접근법을 사용한다.
• 기본 분포를 학습하기 위해 대표적인 그래프 세트에서 엔드 투 엔드로 훈련된다.
• 생성된 그래프와 실제 그래프 간의 분포 유사도를 정량화하기 위해 최대 평균 차이(MMD) 지표를 평가에 사용한다.

실험 결과

연구 질문

• RQ1 강한 구조적 가정 없이도 딥 생성 모델이 복잡한 비국소적 종속성을 학습할 수 있는가?
• RQ2 순차적 자동회귀 모델은 실제 세계의 그래프 구조적 특성을 얼마나 잘 재구성할 수 있는가?
• RQ3 기존의 딥 생성 접근법에 비해 이러한 모델은 얼마나 더 큰 그래프로 확장될 수 있는가?
• RQ4 MMD 기반 지표는 생성된 그래프 분포의 품질 평가에 얼마나 효과적인가?

주요 결과

• GraphRNN은 모든 기준 모델보다 목표 그래프 분포의 구조적 특성을 크게 더 잘 매칭한다.
• MMD 기반 평가 지표에서 실제 그래프와 구분이 불가능한 다양한 그래프를 생성한다.
• GraphRNN은 이전의 딥 생성 모델이 처리할 수 있었던 그래프보다 최대 50배 더 큰 그래프로 확장된다.
• 계층적 자동회귀 설계는 평탄한 순차 모델 대비 훈련 안정성과 생성 품질을 향상시킨다.
• MMD 기반 지표를 포함한 벤치마크 세트는 그래프 생성 모델 간의 신뢰할 수 있는 정량적 비교를 가능하게 한다.
• 모델는 현실적인 그래프 생성에 필수적인 복잡한 비국소적 종속성을 성공적으로 포착한다.