[논문 리뷰] A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material

Mengchun Zhang, Maryam Qamar외 5명|arXiv (Cornell University)|2023. 01. 01.

Bioinformatics and Genomic Networks인용 수 26

한 줄 요약

이 종합적 리뷰는 과학적 응용 분야에서 생성형 AI를 위한 그래프 확산 모델에 대해 종합적인 개요를 제공하며, 분자의, 단백질의, 물질의 생성에 초점을 맞춘다. 기초적인 그래프 생성 방법, 그래프 상에서의 확산 모델 메커니즘, 과학적 AI 분야에서의 성능, 과제, 열린 연구 질문들을 검토한다.

ABSTRACT

Diffusion models have become a new SOTA generative modeling method in various fields, for which there are multiple survey works that provide an overall survey. With the number of articles on diffusion models increasing exponentially in the past few years, there is an increasing need for surveys of diffusion models on specific fields. In this work, we are committed to conducting a survey on the graph diffusion models. Even though our focus is to cover the progress of diffusion models in graphs, we first briefly summarize how other generative modeling methods are used for graphs. After that, we introduce the mechanism of diffusion models in various forms, which facilitates the discussion on the graph diffusion models. The applications of graph diffusion models mainly fall into the category of AI-generated content (AIGC) in science, for which we mainly focus on how graph diffusion models are utilized for generating molecules and proteins but also cover other cases, including materials design. Moreover, we discuss the issue of evaluating diffusion models in the graph domain and the existing challenges.

연구 동기 및 목표

• 그래프 구조 데이터, 특히 과학 분야에서의 확산 모델에 특화된 종합적 리뷰의 증가하는 필요성을 해결하기 위해.
• 자기회귀, VAE, GAN, 특히 확산 모델을 기반으로 한 그래프 생성 기법에 대한 체계적인 리뷰를 제공하기 위해.
• 표준화된 지표를 사용하여 분자의, 단백질의, 물질의 생성에 있어 그래프 확산 모델의 성능을 평가하기 위해.
• 확장성, 비정규적인 그래프 구조, 평가 기준, 그래프 확산 모델링에서의 해석 가능성과 같은 주요 과제를 식별하고 논의하기 위해.
• 연구자들이 확산 모델을 과학적 그래프 생성 작업에 적용하는 데 있어 열린 문제와 향후 방향으로 이끌기 위해.

제안 방법

• 구조적 불변성을 포착하는 데 한계가 있는 자동회귀 모델(예: GraphRNN), VAE, 정규화 흐름, GAN을 포함한 이전의 그래프 생성 방법을 검토하며, 그들의 한계를 강조한다.
• 전진 및 역방향 노이즈 제거 과정, 스코어 기반 모델링, 노이즈 제거 스코어 매칭을 포함한 확산 모델의 핵심 메커니즘을 소개한다.
• 노드 및 엣지 노이즈 스케줄을 정의하여 그래프 데이터에 확산 모델링을 적용하고, 그래프 구조에서 스코어 기반 생성 모델링을 사용한다.
• 잠재 공간에서 반복적인 노이즈 제거를 통해 노드와 엣지의 결합 분포를 모델링하는 통합 프레임워크를 활용한다.
• 역방향 확산 과정에서 스코어 함수를 추정하기 위해 그래프 신경망(GNNs)을 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 통계적 지표(예: KLD, MMD), 분류기 기반 지표(예: FID), 그리고 유효성, 유일성, 신규성과 같은 작업별 지표를 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 확산 모델은 기존의 그래프 생성 방법(예: VAE, GAN, 자동회귀 모델)에 비해 분자의, 단백질의 그래프 생성에서 얼마나 현실적으로 성능을 내는가?
• RQ2 비정규적이고 크기가 변하는 그래프에서 효과적인 그래프 확산 모델링을 가능하게 하는 주요 아키텍처 및 학습 구성 요소는 무엇인가?
• RQ3 유효성, 유일성, 신규성과 같은 평가 지표는 과학적 그래프 생성 품질을 의미 있게 평가하는 데 어떻게 적용될 수 있는가?
• RQ4 대규모 또는 매우 비정규적인 그래프에 확산 모델을 적용할 때의 주요 확장성 및 구조적 과제는 무엇인가?
• RQ5 확산 모델은 얼마나 다양한 화학적으로 타당하고 기능적으로 관련성이 있는 분자와 물질을 생성할 수 있는가?

주요 결과

• 일부 모델에서 보고된 바에 따르면, 그래프 확산 모델은 다양하고 화학적으로 타당한 분자를 생성하는 데 기존 방법보다 뛰어난 성능을 보이며, 유효성 비율이 95%를 초과하는 경우가 있다.
• 스코어 기반 생성 모델링의 사용은 복잡한 고차원 의존성을 학습함으로써 분자 및 단백질 구조의 고해상도 생성을 가능하게 한다.
• FID 및 분류기 기반 지표를 사용한 평가 결과, 확산 모델에서 생성된 그래프는 잠재 공간에서 실제 그래프와 높은 유사성을 보였다.
• 강력한 성능에도 불구하고, 현재의 확산 모델은 특히 큰 그래프에서 역방향 샘플링의 이차 복잡도로 인해 확장성 문제를 겪고 있다.
• 통계적 지표와 분류기 기반 지표가 항상 화학적 또는 생물학적 활용도와 상관관계를 가지지 않기 때문에, 보편적인 평가 지표의 부재가 주요 과제로 남아 있다.
• 그래프 확산 모델에서 스코어 함수의 해석 가능성은 여전히 제한되어 있어, 과학적 맥락에서 모델 동작을 분석하거나 디버깅하기가 어렵다.