[논문 리뷰] Efficient Graph Generation with Graph Recurrent Attention Networks

Renjie Liao, Yujia Li외 7명|arXiv (Cornell University)|2019. 10. 02.

Advanced Graph Neural Networks인용 수 173

한 줄 요약

GRAN은 그래프를 블록 단위로 생성하고 그래프 신경망 기반 주의(attention)를 사용하여 조건화를 개선하며, 혼합 Bernoulli 출력과 표준 순서를 이용해 최대 5K 노드까지의 효율적이고 확장 가능한 그래프 생성을 달성한다.

ABSTRACT

We propose a new family of efficient and expressive deep generative models of graphs, called Graph Recurrent Attention Networks (GRANs). Our model generates graphs one block of nodes and associated edges at a time. The block size and sampling stride allow us to trade off sample quality for efficiency. Compared to previous RNN-based graph generative models, our framework better captures the auto-regressive conditioning between the already-generated and to-be-generated parts of the graph using Graph Neural Networks (GNNs) with attention. This not only reduces the dependency on node ordering but also bypasses the long-term bottleneck caused by the sequential nature of RNNs. Moreover, we parameterize the output distribution per block using a mixture of Bernoulli, which captures the correlations among generated edges within the block. Finally, we propose to handle node orderings in generation by marginalizing over a family of canonical orderings. On standard benchmarks, we achieve state-of-the-art time efficiency and sample quality compared to previous models. Additionally, we show our model is capable of generating large graphs of up to 5K nodes with good quality. To the best of our knowledge, GRAN is the first deep graph generative model that can scale to this size. Our code is released at: https://github.com/lrjconan/GRAN.

연구 동기 및 목표

• 생성 과정에서 그래프 구조를 활용하는 확장 가능한 자동회귀 그래프 생성 모델을 개발한다.
• 이전의 RNN 기반 방법의 노드 순서 의존성과 장기 순차 병목 현상을 줄인다.
• 생성 속도와 샘플 품질의 균형을 맞추기 위해 주의(attention)가 있는 블록 단위 생성 메커니즘을 도입한다.
• 블록 내의 에지 상관관계를 Bernoulli 출력의 혼합으로 포착한다.
• 변분적 관점으로 표준 순서의 계열에 대해 주변화하여 노드 순서를 다루는 방법을 제시한다.

제안 방법

• 그래프를 한 번에 하삼각 인접 행렬 L^π의 B행 블록 하나를 생성함으로써 생성하며, 결과적으로 O(N) 단계의 생성을 얻는다.
• 이미 생성된 부분그래프를 조건으로 현재 블록 생성을 조정하기 위해 주의적 메시지를 사용하는 그래프 신경망.
• 각 블록을 다중 홉 GNN 메시지 전달(R 라운드)로 표현하여 간선 예측에 사용되는 노드 표현 h_i^R를 계산한다.
• 블록의 출력 분포를 Bernoulli 분포의 혼합으로 모델링하며, 혼합 가중치와 간선 확률은 쌍별 노드 표현으로 계산된다.
• 해당 가족의 표준 순서 Q(예: DFS, BFS, k-core)로 주변화하여 변분적 해석으로 트랙터블한 하한을 통해 p(G)을 근사한다.
• 생성 시 속도-품질 트레이드오프를 제어하기 위해 블록 크기 B와 보폭 S를 제공하고, 보폭 샘플링은 생성 중 블록 간 중첩을 허용한다.]

실험 결과

연구 질문

• RQ1 자동회귀 그래프 생성기가 조건화에서 그래프 구조를 활용하여 장거리 의존성을 줄이고 확장성을 개선할 수 있는가?
• RQ2 주의 기반 GNN 조건화와 혼합 출력으로 블록 단위 그래프 생성을 수행하는 것이 이전 GraphRNN류 모델과 비교하여 샘플 품질과 생성 속도를 모두 개선하는가?
• RQ3 표준 순서 계열에 대한 주변화가 대형 그래프의 가능도 추정과 생성 성능에 어떤 영향을 미치는가?
• RQ4 GRAN에서 블록 크기와 보폭이 효율-품질 트레이드오프에 미치는 영향은 무엇인가?
• RQ5 GRAN이 수천 개의 노드에 이르는 대형 그래프에서도 경쟁력 있는 그래프 통계치를 유지하며 확장될 수 있는가?

주요 결과

• 표준 벤치마크에서 샘플 품질과 효율성 측면에서 이전 모델을 능가하며, 확장 가능한 자동회귀 그래프 생성기들 중에서 최첨단 결과를 달성한다.
• 블록 단위 생성을 통해 순차적 병목을 O(N^2)에서 O(N) 단계로 줄여 수천 개의 노드까지의 그래프 생성을 가능하게 한다.
• 주의적 GNN 조건화가 생성된 부분과 이미 있는 그래프 부분 간의 의존성 모델링을 개선하고 순서 민감도를 감소시킨다.
• Bernoulli 출력의 혼합이 블록 내의 에지 상관관계를 포착하여 복잡한 에지 패턴의 모델링을 향상시킨다.
• 선택한 표준 순서 계열에 대한 주변화는 로그 가능도 근사치를 개선하고 모든 순열을 열거하지 않고도 순열 문제를 완화하는 데 도움을 준다.
• 보폭 샘플링은 생성 속도와 샘플 품질 사이의 조정 가능한 트레이드오프를 가능하게 하며, 더 큰 보폭은 일부 품질 저하 비용으로 더 빠른 생성 속도를 제공한다.