[논문 리뷰] Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations

Jaehyeong Jo, Seul Lee외 1명|arXiv (Cornell University)|2022. 02. 05.

Complex Network Analysis Techniques인용 수 25

한 줄 요약

연속 시간 점수 기반 그래프 생성모델 GDSS를 도입, 노드 특징과 인접성을 공동으로 시스템 SDE를 통해 모델링하고 부분-점수 목표로 노드-간선 의존성을 포착합니다.

ABSTRACT

Generating graph-structured data requires learning the underlying distribution of graphs. Yet, this is a challenging problem, and the previous graph generative methods either fail to capture the permutation-invariance property of graphs or cannot sufficiently model the complex dependency between nodes and edges, which is crucial for generating real-world graphs such as molecules. To overcome such limitations, we propose a novel score-based generative model for graphs with a continuous-time framework. Specifically, we propose a new graph diffusion process that models the joint distribution of the nodes and edges through a system of stochastic differential equations (SDEs). Then, we derive novel score matching objectives tailored for the proposed diffusion process to estimate the gradient of the joint log-density with respect to each component, and introduce a new solver for the system of SDEs to efficiently sample from the reverse diffusion process. We validate our graph generation method on diverse datasets, on which it either achieves significantly superior or competitive performance to the baselines. Further analysis shows that our method is able to generate molecules that lie close to the training distribution yet do not violate the chemical valency rule, demonstrating the effectiveness of the system of SDEs in modeling the node-edge relationships. Our code is available at https://github.com/harryjo97/GDSS.

연구 동기 및 목표

• 그래프 구조 데이터의 분포를 학습하면서 순열 불변성을 존중하는 동기를 부여한다.
• GDSS로, 노드 특징과 인접 행렬을 시스템 SDE를 통해 공동 확산시키는 확산 프레임워크를 제안한다.
• X(노드 특징)와 A(인접)의 결합 점수 모델을 학습하기 위한 새로운 부분-점수 매칭 목표를 개발한다.
• 학습된 확산 과정에서 그래프를 샘플링하기 위한 효율적인 역시간 SDE 해석기(S4)를 도입한다.
• 합성 그래프와 실제 그래프, 분자 데이터셋에서 우수하거나 경쟁력 있는 생성 품질을 입증한다.

제안 방법

• G = (X, A) 정의, X ∈ R^{N×F}, A ∈ R^{N×N}.
• 전방 Itô SDE를 G에 대해 도입하고 기울기 f_t와 확산 g_t로 그래프 구성요소에 노이즈를 추가한다.
• 부분 점수 함수 ∇_{X_t} log p_t와 ∇_{A_t} log p_t를 이용해 X_t와 A_t에 대한 결합 역시간 SDE 시스템을 도출한다.
• 시간 의존 점수 네트워크 s_{θ,t}와 s_{φ,t}를 제안하여 부분 점수(X와 A)를 추정하고, 부분 점수에 맞춘 denoising score-matching 목표(식 (5)-(7))로 학습한다.
• 아키텍처: 그래프 신경망(GNN)을 사용한 순열 등가 점수 모델 및 노드-간선 의존성을 포착하기 위한 그래프 멀티헤드 어텐션(식 (8)-(9)).
• 역 시스템을 Solve하기 위한 새로운 Symmetric Splitting for System of SDEs(S4) 적분기를 도입, 점수 계산, 보정 단계, 예측 단계를 결합(연산자 분할 및 Fokker-Planck 형식에 기초).

실험 결과

연구 질문

• RQ1 확산 과정이 SDE 시스템으로 모델링되어 노드 특징과 인접성을 공동으로 확산시키고 순열 불변성을 유지하며 복구할 수 있는가?
• RQ2 부분-점수 목표가 결합 데이터 분포 학습을 margial-score 접근법보다 효과적으로 가능하게 하는가?
• RQ3 역 확산의 확산 샘플러가 확장 가능하고 정확하며 합성 및 분자 그래프에서 기저 GD 방법 및 기존 원샷 모델보다 우수한가?
• RQ4 X와 A를 공동으로 모델링하면 순차적이나 독립적 확산 변형보다 노드-간선 의존성을 더 잘 포착하는가?
• RQ5 제안된 GDSS 프레임워크가 일반 그래프 생성 작업 및 분자 생성에서 자기회귀 및 기타 원샷 모델에 비해 어떤 성능을 보이는가?

주요 결과

• GDSS와 연속 시간 확산 프레임워크는 기존의 원샷 그래프 생성 모델을 능가하고 일반 그래프 데이터셋에서 자기회귀 모델과의 경쟁력을 보인다.
• GDSS를 통한 노드 특징과 인접성의 결합 확산은 GDSS-seq나 EDP-GNN 변형보다 노드-간선 의존성을 더 잘 포착하며, 토이 및 실증 분석에서 이를 입증한다.
• GDSS는 Ego-small, Community-small, Enzymes, Grid 데이터셋에서 베이스라인 대비 MMD 기반 지표가 개선되거나 경쟁력 있는 성능을 보인다.
• 분자 생성 작업에서 GDSS는 자기회귀 방법을 포함한 최신 베이스라인을 능가하며 복잡한 노드-간선 의존성의 효과적 모델링을 보여준다.
• S4 해석기는 점수 계산, 보정, 예측 단계를 균형 있게 수행하며 시스템 SDE의 샘플링을 효율적이고 정확하게 제공한다.