[논문 리뷰] Geometry-Complete Diffusion for 3D Molecule Generation and Optimization

Alex Morehead, Jianlin Cheng|arXiv (Cornell University)|2023. 02. 08.

Analytical Chemistry and Chromatography인용 수 7

한 줄 요약

이 논문은 기하학적 완전성 메시지 전파를 통해 소음 제거 과정에서 기하학적 및 물리적 사전 지식을 학습하는 SE(3)-등변성 그래프 신경망을 활용하는 새로운 3D 분자 생성 프레임워크인 기하학적 완전성 확산 모델(GCDM)을 소개한다. GCDM은 QM9와 GEOM-Drugs에서 최고 성능을 기록하며 안정적이고 현실적인 대량 분자를 생성할 뿐 아니라, 재학습 없이도 기존 분자를 목표 성질에 맞게 직접 최적화할 수 있다.

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have pioneered new state-of-the-art results in disciplines such as computer vision and computational biology for diverse tasks ranging from text-guided image generation to structure-guided protein design. Along this latter line of research, methods have recently been proposed for generating 3D molecules using equivariant graph neural networks (GNNs) within a DDPM framework. However, such methods are unable to learn important geometric properties of 3D molecules, as they adopt molecule-agnostic and non-geometric GNNs as their 3D graph denoising networks, which notably hinders their ability to generate valid large 3D molecules. In this work, we address these gaps by introducing the Geometry-Complete Diffusion Model (GCDM) for 3D molecule generation, which outperforms existing 3D molecular diffusion models by significant margins across conditional and unconditional settings for the QM9 dataset and the larger GEOM-Drugs dataset, respectively, and generates more novel and unique unconditional 3D molecules for the QM9 dataset compared to previous methods. Importantly, we demonstrate that the geometry-complete denoising process of GCDM learned for 3D molecule generation enables the model to generate a significant proportion of valid and energetically-stable large molecules at the scale of GEOM-Drugs, whereas previous methods fail to do so with the features they learn. Additionally, we show that extensions of GCDM can not only effectively design 3D molecules for specific protein pockets but also that GCDM's geometric features can be repurposed to consistently optimize the geometry and chemical composition of existing 3D molecules for molecular stability and property specificity, demonstrating new versatility of molecular diffusion models. Our source code and data are freely available at https://github.com/BioinfoMachineLearning/Bio-Diffusion.

연구 동기 및 목표

• 기존 3D 분자 확산 모델이 기하학적, 분자 무관인 GNN로 인해 핵심 기하학적 및 물리적 성질을 학습하지 못하는 한계를 해결하기 위해.
• 이전 모델이 어려움을 겪는 GEOM-Drugs 데이터셋과 같은 대규모 3D 분자에 대해 효과적으로 확장 가능한 생성 모델을 개발하기 위해.
• 기하학적 확산 모델이 미세조정이나 재학습 없이도 분자 최적화 작업에 재사용 가능한지 조사하기 위해.
• 기하학적 인도적 편향(예: 광학 이성질성, 불변 주의 메커니즘)을 확산 프레임워크에 통합하여 3D 분자 생성의 새로운 최고 성능(SOTA)을 확립하기 위해.

제안 방법

• GCDM는 GCPNet++를 사용하여 벡터 특성을 가진 3D 분자 그래프의 소음 제거를 위해 기하학적 완전성 메시지 전파 프레임워크를 적용하며, SE(3) 등변성을 보장한다.
• 모델은 반복적으로 소음을 제거하는 3D 분자 그래프에서 실제적인 구조를 생성하기 위해 소음 제거 확률적 프레임워크를 사용한다.
• 기하학적 정밀도와 생성된 분자의 유효성을 향상시키기 위해 불변 그래프 주의 메커니즘과 분자 광학 이성질성 등의 물리적 인도적 편향을 통합한다.
• 학습 목표는 예측된 소음과 진짜 소음 사이의 가중치 MSE를 사용하는 표준 DDPM 손실이며, 최적의 생성을 위해 w(t) = 1로 설정된다.
• 통합된 그래프 소음 제거 프로세스를 통해 원자 종류, 전하, 3D 좌표를 예측함으로써 무조건적 및 조건부 3D 분자 생성을 수행한다.
• 학습된 기하학적 특징을 활용하여 재학습 없이도 기존 분자를 특정 성질에 맞게 반복적으로 개선함으로써 직접적인 분자 최적화를 가능하게 한다.

Figure 1: A framework overview for our proposed Geometry-Complete Diffusion Model ( GCDM ). Our framework consists of ( i. ) a graph (topology) definition process, ( ii. ) a GCPNet -based graph neural network for 3D graph representation learning, ( iii. ) denoising of 3D input graphs using GCPNet++

실험 결과

연구 질문

• RQ1 SE(3)-등변성 기반의 기하학적 완전성 메시지 전파를 통합한 확산 모델이 비기하학적 대응 모델보다 더 현실적이고 안정적인 3D 분자를 생성할 수 있는가?
• RQ2 광학 이성질성과 불변 주의 메커니즘과 같은 물리적 인도적 편향의 포함이 생성된 3D 분자의 유효성과 품질을 향상시키는가?
• RQ3 하나의 사전 학습된 기하학적 확산 모델이 미세조정이나 재학습 없이도 효과적으로 분자 최적화 작업에 재사용 가능한가?
• RQ4 GEOM-Drugs 데이터셋과 같은 대규모 3D 분자에 대해 GCDM은 기존 모델이 이 기준에서 실패하는 것과 비교해 어떻게 성능을 내는가?
• RQ5 GCDM은 비기하학적 확산 모델보다 단백질 포켓 조건부 3D 분자 생성 및 직접적인 분자 최적화에서 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• GCDM은 QM9 데이터셋에서 무조건적 및 조건부 3D 분자 생성 모두 최고 성능을 기록하며, 이전 방법들보다 유효성, 안정성, 성질 특이성 측면에서 뛰어나다.
• GEOM-Drugs 데이터셋에서 GCDM은 이전 방법들이 기하학적 학습이 부족하여 실패한 바와는 달리 현실적이고 안정적인 대규모 3D 분자를 성공적으로 생성한다.
• GCDM은 재학습 없이도 기존 3D 분자를 특정 분자 성질에 맞게 최적화할 수 있는 능력을 보이며, 이는 기하학적 확산 모델에서 처음으로 이뤄진 결과이다.
• 모델의 기하학적 완전성 소음 제거 프로세스를 통해 광학 이성질성과 결합 각도와 같은 핵심 물리적 및 기하학적 성질을 학습하고 유지할 수 있다.
• GCDM은 단백질 포켓 조건부 3D 분자 생성에서도 경쟁적인 성능을 기록하며, 약물 설계 응용 분야에서 강력한 잠재력을 보여준다.
• GCPNet++에서 사용된 SE(3)-등변성 기반의 벡터 기반 메시지 전파 방식은 이전 모델의 스칼라 기반 메시지 전파보다 훨씬 뛰어난 기하학적 일반화 성능을 제공한다.