[논문 리뷰] Scalable Deep Generative Modeling for Sparse Graphs

Hanjun Dai, Azade Nazi외 3명|arXiv (Cornell University)|2020. 06. 28.

Advanced Graph Neural Networks인용 수 17

한 줄 요약

이 논문은 그래프의 희소성 특성을 활용하여 전체 인접행렬 계산을 피하고, 시간 복잡도를 Ω(n²)에서 O((n+m)log n)로 감소시키는 확장 가능한 순차적 생성 모델인 BiGG를 제안한다. 이 모델은 10만 개 노드까지의 큰 그래프에서 최신 기술 수준(SOTA)의 생성 품질을 달성하며, O(log n)의 동기화 단계만을 요구하는 효율적인 병렬 학습이 가능하다.

ABSTRACT

Learning graph generative models is a challenging task for deep learning and has wide applicability to a range of domains like chemistry, biology and social science. However current deep neural methods suffer from limited scalability: for a graph with $n$ nodes and $m$ edges, existing deep neural methods require $Ω(n^2)$ complexity by building up the adjacency matrix. On the other hand, many real world graphs are actually sparse in the sense that $m\ll n^2$. Based on this, we develop a novel autoregressive model, named BiGG, that utilizes this sparsity to avoid generating the full adjacency matrix, and importantly reduces the graph generation time complexity to $O((n + m)\log n)$. Furthermore, during training this autoregressive model can be parallelized with $O(\log n)$ synchronization stages, which makes it much more efficient than other autoregressive models that require $Ω(n)$. Experiments on several benchmarks show that the proposed approach not only scales to orders of magnitude larger graphs than previously possible with deep autoregressive graph generative models, but also yields better graph generation quality.

연구 동기 및 목표

• 기존의 전체 인접행렬 생성으로 인해 Ω(n²) 복잡도를 유발하는 그래프에 대한 딥 생성 모델의 확장성 문제를 해결하기 위해.
• 기존 순차적 생성 모델이 이차 시간 및 메모리 비용으로 인해 처리할 수 없는 대규모 희소 그래프(예: 10만 노드)의 학습 및 생성을 가능하게 하기 위해.
• 희소성 특성을 활용하고 하향식 동기화가 하향식으로 이루어지는 병렬화 가능한 순차적 생성 구조를 설계하여 학습 시간과 메모리 사용량을 줄이기 위해.
• 시간 복잡도를 크게 감소시켜도 벤치마크 데이터셋에서 생성 품질을 유지하거나 향상시키기 위해.

제안 방법

• R-MAT에 영감을 얻어 이진 트리 데이터 구조를 사용하여 각 간선 생성에 O(log n) 시간이 소요되도록 하여 명시적 전체 인접행렬 계산을 피한다.
• 노드 순서(예: BFS/DFS)를 활용해 트리의 폭을 최소화하고 효율성을 향상시키는 트리 기반 순차적 생성 모델을 적용한다.
• 노드 기반 순차적 시퀀스를 정의하여, 각 노드의 간선 집합이 이전에 처리된 노드에 조건부로 생성되도록 한다.
• 단일 GPU에서 10만 노드 이상의 그래프 학습이 가능하도록, O(log n)의 순차적 단계만을 요구하는 계층적 컨텍스트 임베딩 기반 병렬 학습을 구현한다.
• 학습 중 메모리 사용량은 O(√(m log n))로 감소하고, 추론 중에는 O(log n)로 유지되어 메모리 제약이 있는 환경에서도 단일 GPU에서 학습이 가능하다.
• 이산적 간선 생성에도 불구하고 미분 가능 샘플링을 사용해 엔드 투 엔드 최적화가 가능한 가능성이 있는 가능성이 있는 로그 likelihood 목적함수를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 기존의 Ω(n²) 복잡도를 유발하는 전체 인접행렬 생성 없이도 대규모 희소 그래프에 대해 효율적으로 확장 가능한 딥 생성 모델을 설계할 수 있는가?
• RQ2 순차적 그래프 생성 모델에서 시간 및 메모리 비용을 줄이면서도 높은 품질의 그래프 생성을 유지할 수 있는가?
• RQ3 기존 방법에 비해 동기화 오버헤드를 줄일 수 있도록 순차적 그래프 생성 모델의 학습을 병렬화할 수 있는가?
• RQ4 그래프의 희소성 특성을 활용하면 생성 품질을 손상시키지 않고도 확장성 향상에 크게 기여할 수 있는가?

주요 결과

• BiGG는 그래프 생성에 대해 O((n+m)log n)의 시간 복잡도를 달성하여 기존의 딥 순차적 생성 모델의 Ω(n²) 복잡도에 비해 상당한 향상이 이루어졌다.
• 단일 GPU에서 최대 10만 노드까지의 그래프를 성공적으로 생성하였으며, 이는 기존의 딥 순차적 생성 모델이 처리할 수 없었던 스케일의 그래프를 다룰 수 있음을 의미한다.
• 합성 및 실제 데이터셋(단백질, 3D 메esh, SAT 문제)에서 GRAN과 같은 SOTA 모델과 경쟁하거나 그 이상의 생성 품질을 달성하였으며, 10만 노드의 격자 그래프에서 MMD 점수는 최소 2.54e-2까지 저하되었다.
• 학습 동기화 단계는 O(log n)으로 줄여 GraphRNN(Ω(n²))과 GRAN(O(n))에 비해 훨씬 빠른 학습 속도를 달성하면서도 높은 품질의 샘플을 유지한다.
• 학습 중 메모리 비용은 O(√(m log n))로 감소하여, GRAN이 RAM 제약으로 실패하는 대규모 그래프에서도 단일 GPU에서 학습이 가능하다.
• 다양한 간선 밀도에서도 강력한 성능을 유지를 하였으며, 1% 간선 밀도 조건에서도 스펙트럴 MMD 점수가 기준 모델(Erdős–Rényi 모델)과 매우 유사하게 유지되었다.