[논문 리뷰] Generative Diffusion Models on Graphs: Methods and Applications

Cheng-Yi Liu, Wenqi Fan외 6명|arXiv (Cornell University)|2023. 02. 06.

Bioinformatics and Genomic Networks인용 수 8

한 줄 요약

그래프에서의 생성 확산 모델에 대한 포괄적 고찰로, SMLD, DDPM, SGM 패러다임과 그 그래프 적응 및 분자 및 단백질 모델링 적용을 자세히 설명한다.

ABSTRACT

Diffusion models, as a novel generative paradigm, have achieved remarkable success in various image generation tasks such as image inpainting, image-to-text translation, and video generation. Graph generation is a crucial computational task on graphs with numerous real-world applications. It aims to learn the distribution of given graphs and then generate new graphs. Given the great success of diffusion models in image generation, increasing efforts have been made to leverage these techniques to advance graph generation in recent years. In this paper, we first provide a comprehensive overview of generative diffusion models on graphs, In particular, we review representative algorithms for three variants of graph diffusion models, i.e., Score Matching with Langevin Dynamics (SMLD), Denoising Diffusion Probabilistic Model (DDPM), and Score-based Generative Model (SGM). Then, we summarize the major applications of generative diffusion models on graphs with a specific focus on molecule and protein modeling. Finally, we discuss promising directions in generative diffusion models on graph-structured data. For this survey, we also created a GitHub project website by collecting the supporting resources for generative diffusion models on graphs, at the link: https://github.com/ChengyiLIU-cs/Generative-Diffusion-Models-on-Graphs

연구 동기 및 목표

• 그래프에서의 생성 확산 방법(SMLD, DDPM, SGM)에 대한 포괄적 개요를 제공한다.
• 대표적인 그래프 확산 알고리즘과 그 핵심 기술을 요약한다.
• 분자 모델링 및 단백질 모델링의 주요 응용을 강조하고 향후 방향을 논의한다.

제안 방법

• 세 가지 확산 패러다임(SMLD, DDPM, SGM)과 그래프에의 적응을 제시한다.
• 그래프 특화 전방/역방 프로세스 및 스코어/마진 추정 방법을 설명한다.
• 이산 확산과 연속 확산, 그래프를 위한 등가성 보정 및 그래프 기반 아키텍처를 논의한다.
• 대표적인 방법들인 EDP-GNN, ConfGF, Haefeli 등, DiGress, EDMs, GDSS, GSDM, GraphGDP 및 SGGM의 그래프 확장들을 요약한다.

실험 결과

연구 질문

• RQ1 그래프에 사용되는 주요 확산 패러다임은 무엇이며 그래프 구조에 어떻게 적응되는가?
• RQ2 대표적인 그래프 확산 알고리즘은 무엇이며 그 핵심 기술은 무엇인가?
• RQ3 그래프에서의 생성 확산 모델의 분자 및 단백질 응용의 핵심은 무엇인가?
• RQ4 그래프 구조 데이터에서 확산 모델의 향후 방향은 무엇이 유망한가?

주요 결과

• 본 논문은 그래프 확산 방법을 SMLD, DDPM, SGM으로 구분하고 각 패러다임에 대한 대표 알고리즘을 요약한다.
• 그래프 확산 방법은 특수한 전방/역방 프로세스와 그래프 신경망 아키텍처를 통해 이산 구조, 복잡한 의존성 및 순열 불변성을 다룬다.
• 응용은 분자 모델링(구조 형성, 도킹)과 단백질 모델링에 중점을 두며 다양한 아키텍처 변형(등가성, 그래프 트랜스포머, 에너지 가이드)을 포함한다.
• 그래프 확산 모델에 대한 지원 자료를 모아둔 GitHub 리소스가 있다.
• 도메인 지식(에너지 함수, 원자 간 힘, 등가성)과 자기회귀 대 한 번의 생성 전략을 통합하는 여러 진전이 있다.