[논문 리뷰] Permutation Invariant Graph Generation via Score-Based Generative Modeling

Chenhao Niu, Yang Song외 4명|arXiv (Cornell University)|2020. 03. 01.

Advanced Graph Neural Networks인용 수 30

한 줄 요약

논문은 점수 기반 생성 모델링에 기반한 순열 불변 그래프 생성 접근법을 제시하며, 순열 동등한 EDP-GNN을 사용해 점수 함수를 모델링하고 어네일 Langevin 다이나믹스로 샘플링합니다; 이는 경쟁력 있는 생성 품질을 달성하고 에지 단위 예측에서 뛰어난 성능을 보입니다.

ABSTRACT

Learning generative models for graph-structured data is challenging because graphs are discrete, combinatorial, and the underlying data distribution is invariant to the ordering of nodes. However, most of the existing generative models for graphs are not invariant to the chosen ordering, which might lead to an undesirable bias in the learned distribution. To address this difficulty, we propose a permutation invariant approach to modeling graphs, using the recent framework of score-based generative modeling. In particular, we design a permutation equivariant, multi-channel graph neural network to model the gradient of the data distribution at the input graph (a.k.a., the score function). This permutation equivariant model of gradients implicitly defines a permutation invariant distribution for graphs. We train this graph neural network with score matching and sample from it with annealed Langevin dynamics. In our experiments, we first demonstrate the capacity of this new architecture in learning discrete graph algorithms. For graph generation, we find that our learning approach achieves better or comparable results to existing models on benchmark datasets.

연구 동기 및 목표

• 그래프 생성 모델링에서 순열 불변성을 다룬다.
• 그래프를 위한 순열 동등한 점수 네트워크를 도입한다.
• 학습된 점수에서 그래프를 샘플링하기 위해 어네일 Langevin 다이나믹스를 활용한다.
• 다중 채널 인접 행렬을 갖춘 EDP-GNN 아키텍처를 제안한다.
• 벤치마크 데이터셋에서 경쟁력 있는 생성 품질과 강력한 에지 단위 예측 결과를 보여준다.

제안 방법

• 데이터 분포의 기울기(점수)를 순열 동등한 그래프 신경망(EDP-GNN)으로 모델링한다.
• 인접 행렬의 가우스 섭동을 사용한 점수 매칭으로 점수 모델을 학습한다.
• 잡음 수준 조건부의 어네일 Langevin 다이나믹스로 그래프를 샘플링한다.
• 이산 그래프 데이터를 인접 행렬을 섞고 최종 샘플을 양자화하여 다룬다.
• 동등성 점수와 그 선적분 표현을 통해 학습된 그래프 분포의 순열 불변성을 보장한다.

실험 결과

연구 질문

• RQ1 순열 동등한 점수 함수가 그래프에 대한 순열 불변 분포로 이어질 수 있는가?
• RQ2 제안된 EDP-GNN이 기존 그래프 생성 모델과 비교해 에지 단위 특징 및 그래프 분포를 학습하는 데 얼마나 효과적인가?
• RQ3 학습된 점수의 어네일 Langevin 샘플링이 벤치마크 데이터셋에서 경쟁력 있는 품질의 그래프 샘플을 생성하는가?

주요 결과

• 다중 채널 인접 행렬을 갖춘 EDP-GNN이 가솔린 GNN보다 에지 단위 예측을 개선하며, 특히 가중 그래프에서 더 뛰어난 성능을 보인다.
• 점수 기반 생성 접근법이 벤치마크 지표에서 GraphRNN 및 GraphNVP와 비슷한 생성 품질의 그래프 샘플을 만들어낸다.
• 모델이 섞인 그래프를 잡음 제거된 구조로 매핑하는 것을 학습해, 해석 가능한 중간 채널 표현을 드러낸다.
• 그래프 생성 과제에서 방법이 다수의 통계 및 데이터셋에서 경쟁력 있는 MMD 지표를 달성한다.
• 점수 네트워크의 순열 동등성이 암시하는 그래프 분포의 순열 불변성을 유도한다.