[논문 리뷰] Autoregressive Diffusion Model for Graph Generation

Lingkai Kong, Jiaming Cui외 4명|arXiv (Cornell University)|2023. 07. 17.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 생성을 위한 첫 번째 자동회귀 확산 모델인 GraphArm을 제안한다. 이 모델은 노드 흡수 확산 과정을 통해 이산 그래프 공간에서 직접 작동하며, 데이터에 의존하는 노드 순서를 학습하고 자동회귀적 노이즈 제거를 통해 기존의 확산 기반 방법보다 훨씬 빠른 추론 속도를 달성하면서도 제약 조건을 고려한 생성이 가능하다. 이로 인해 최신 기술 수준의 생성 품질을 달성한다.

ABSTRACT

Diffusion-based graph generative models have recently obtained promising results for graph generation. However, existing diffusion-based graph generative models are mostly one-shot generative models that apply Gaussian diffusion in the dequantized adjacency matrix space. Such a strategy can suffer from difficulty in model training, slow sampling speed, and incapability of incorporating constraints. We propose an \emph{autoregressive diffusion} model for graph generation. Unlike existing methods, we define a node-absorbing diffusion process that operates directly in the discrete graph space. For forward diffusion, we design a \emph{diffusion ordering network}, which learns a data-dependent node absorbing ordering from graph topology. For reverse generation, we design a \emph{denoising network} that uses the reverse node ordering to efficiently reconstruct the graph by predicting the node type of the new node and its edges with previously denoised nodes at a time. Based on the permutation invariance of graph, we show that the two networks can be jointly trained by optimizing a simple lower bound of data likelihood. Our experiments on six diverse generic graph datasets and two molecule datasets show that our model achieves better or comparable generation performance with previous state-of-the-art, and meanwhile enjoys fast generation speed.

연구 동기 및 목표

• 기존의 한 번에 생성하는 확산 기반 그래프 생성 모델의 한계를 해결하기 위해, 즉 느린 추론 속도, 제약 조건 처리 능력 부족, 연속적 dequantization 의존성 문제를 해결하고자 한다.
• 연속적 dequantization 에서 발생하는 분포 왜곡을 피하기 위해, 이산 그래프 공간에서 직접 작동하는 확산 과정을 개발하고자 한다.
• 그래프의 구조적 규칙성을 포착할 수 있는 데이터에 의존하는 노드 흡수 순서를 학습함으로써 효율적인 자동회귀적 그래프 생성을 가능하게 하고자 한다.
• 그래프의 순열 불변성을 활용하여, 가능도의 변동 하한 근사값을 기반으로 확산 순서 네트워크와 노이즈 제거 네트워크를 함께 훈련시키고자 한다.
• 다양한 그래프 데이터셋(분자 및 사회망 포함)에서 더 빠른 생성 속도와 향상된 성능을 입증하고자 한다.

제안 방법

• 노드를 한 개씩 순차적으로 제거하고(그리고 연결된 간선도 함께 제거함) 이산 그래프 공간에서 직접 작동하는 자동회귀적 노드 흡수 확산 과정을 제안한다.
• 그래프의 구조적 특성에 기반하여 데이터에 의존하는 노드 순서를 학습하는 확산 순서 네트워크를 도입함으로써 가능도 근사 및 훈련 안정성을 향상시킨다.
• 이미 생성된 노드를 기반으로 각 새로운 노드의 종류와 연결 관계를 예측함으로써 그래프를 자동회귀적으로 복원하는 역방향 노이즈 제거 네트워크를 설계한다.
• 가능도의 변동 하한 근사값을 활용하여 강화 학습과 경사 하강법을 병행해 확산 순서 네트워크와 노이즈 제거 네트워크를 함께 훈련시킨다.
• 자기회귀적 생성 과정에서 간선 간의 종속성을 포착하기 위해 다중 다항분포의 혼합 모델을 사용한다.
• 그래프의 순열 불변성을 활용하여 훈련을 단순화하고, 역방향 과정이 학습된 순서의 정확한 반대로 작동하도록 보장한다.

Figure 1: The autoregressive graph diffusion process. In the forward pass, the nodes are autoregressively decayed into the absorbing states, dictated by an ordering generated by the diffusion ordering network $q_{\phi}(\sigma|G_{0})$ . In the reverse pass, the generator network $p_{\theta}(G_{t}|G_{

실험 결과

연구 질문

• RQ1 dequantization 이 없는 이산 그래프 공간에서 직접 작동하는 확산 기반 그래프 생성 모델은 훈련 안정성과 정확도 향상에 기여할 수 있는가?
• RQ2 확산 과정에서 데이터에 의존하는 노드 순서를 학습하는 것이 무작위 순서보다 더 높은 생성 품질과 더 빠른 수렴을 이끌 수 있는가?
• RQ3 이산 그래프 공간에서의 자동회귀적 확산은 기존의 한 번에 생성하는 확산 모델로는 구현이 어려운 효율적이고 제약 조건을 고려한 그래프 생성을 가능하게 하는가?
• RQ4 변동 하한 근사값을 기반으로 한 확산 순서 네트워크와 노이즈 제거 네트워크의 공동 훈련 방식은 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 학습된 노드 순서는 유사한 구조적 특성을 가진 그래프 간에 얼마나 일반화 가능한가?

주요 결과

• GraphArm는 여섯 개인 그래프 데이터셋과 두 개인 분자 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, 기존의 확산 기반 모델보다 더 높은 생성 품질을 보였다.
• Caveman 데이터셋에서 GraphArm는 유효성 100%를 달성했으며, degree 점수 0.176, 클러스터링 점수 0.157, orbit 점수 0.144를 기록하여 OM 및 GRAN을 모두 압도했다.
• Community-small 데이터셋에서 GraphArm는 평균적으로 크로스 클러스터 노드 전이 수를 2.6으로 줄였고, 이는 OA-ARDM의 5.6보다 현저히 낮은 수치로, 더 높은 구조적 일관성을 보였다.
• GraphArm에서 학습된 확산 순서는 더 일관된 생성을 가능하게 하였으며, 한 공동체를 먼저 생성한 후 다른 공동체를 생성하는 방식으로 작동한다. 반면, 무작위 순서를 사용하는 OA-ARDM는 이러한 구조를 포착하지 못했다.
• 자기회귀적 특성 덕분에 GraphArm의 추론 속도는 기존의 한 번에 생성하는 확산 모델보다 크게 빨라졌으며, 단계 수가 노드 수와 동일하므로 긴 노이즈 단계 시퀀스가 필요로 하지 않는다.
• 제거 실험을 통해 학습된 확산 순서가 핵심임을 확인하였다. 무작위 순서를 사용하는 OA-ARDM는 특히 구조적 일관성과 제약 조건 충족 측면에서 성능이 크게 떨어졌다.

Figure 2: The generation procedure at step $t$ with the denoising network $p_{\theta}(G_{t}|G_{t+1})$ . The denoising network predicts the node type of node $v_{\sigma_{t}}$ and its edges with all previously denoised nodes.