[논문 리뷰] GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models

Jiaxuan You, Rex Ying외 3명|arXiv (Cornell University)|2018. 02. 24.

Graph Theory and Algorithms인용 수 318

한 줄 요약

GraphRNN은 노드별 및 간선별로 그래프를 구축하는 자기회귀 그래프 생성기를 훈련시키며, BFS-ordered 시퀀스를 사용해 복잡한 의존성을 모델링하고 확장성이 큰 그래프에서도 최첨단 그래프 생성 성능을 달성합니다.

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

연구 동기 및 목표

• 강력한 수작업 가정 없이 관찰된 그래프 데이터로부터 직접 그래프의 생성 모델을 학습한다.
• 공유된 RNN을 사용하여 노드 시퀀스 및 간선 시퀀스 프로세스로 그래프 생성을 분해한다.
• 다양한 그래프 크기에 대해 계산 가능성과 확장성을 개선하기 위해 BFS 기반의 순서를 도입한다.

제안 방법

• 그래프를 BFS 순서하에서 각 노드별로 생성된 S^π 인접 벡터의 시퀀스로 표현한다.
• 그래프 레벨 RNN(GRU)을 사용해 노드를 생성하고, 간선 레벨 RNN으로 해당 노드의 이전 노드들에 대한 인접성을 생성한다.
• 두 가지 GraphRNN 변형을 제공: GraphRNN-S (Multivariate Bernoulli)와 계층적 RNN을 갖춘 전체 Dependent Bernoulli sequence.
• 각 노드당 예측하는 간선 수를 제한하고 실험적으로 거의 제곱에 근접한 시간 복잡도를 달성하기 위해 BFS 기반 순서를 채택한다.
• 도 degree, clustering, 및 motif 수 분포에 대해 최대 평균 차이(MMD) 프레임워크를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 깊은 자기회귀 모델이 고정된 노드 집합 없이 다양한 크기의 데이터에서 그래프를 생성하도록 학습할 수 있는가?
• RQ2 BFS 순서가 계산 복잡도를 줄이고 그래프 생성을 위한 확장성과 성능을 향상시키는가?
• RQ3 차수 분포, 클러스터링 및 모티프와 같은 고차 통계에서 생성된 그래프가 실제 그래프에 얼마나 근접한가?
• RQ4 제안된 모델이 격자형, 커뮤니티형, 단백질, 에고 네트워크 등 다양한 그래프 유형에서 일반화되는가?

주요 결과

• GraphRNN은 데이터셋 전반에 걸쳐 전통적 및 최근의 딥 그래프 생성 기준선보다 현저히 우수하다.
• GraphRNN은 베이스라인에 비해 평균 약 80-90%의 MMD 감소를 달성한다.
• 이 방법은 이전의 딥 모델들보다 대략 50배 큰 그래프까지 확장된다.
• GraphRNN-S는 엣지 의존성이 더 단순한 단백질 유사 근접 그래프에서 강하게 작동한다.
• 모델은 학습-테스트 NLL 차이가 작아 좋은 일반화를 시사한다.
• GraphRNN은 Barabási-Albert 와 Erdős-Rényi 그래프 구조 사이에서 보간할 때도 강건함을 보인다.