[논문 리뷰] MDM: Molecular Diffusion Model for 3D Molecule Generation

Lei Huang, Hengtong Zhang외 2명|arXiv (Cornell University)|2022. 09. 13.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 9

한 줄 요약

이 논문은 공유 결합 및 반데르발스 상호작용을 위해 이중 등변 인코더를 사용하여 원자 간 힘을 명시적으로 모델링하고, 랭지에빈 역동성에서 다양성을 향상시키기 위해 분포 제어 변수를 도입한 분자 확산 모델 MDM을 제안한다. MDM은 기존 최상위 모델들을 크게 능가하여 GEOM 데이터셋에서 최대 31.4%의 신규성과 4.1% 높은 유일성을 달성한다.

ABSTRACT

Molecule generation, especially generating 3D molecular geometries from scratch (i.e., 3D extit{de novo} generation), has become a fundamental task in drug designs. Existing diffusion-based 3D molecule generation methods could suffer from unsatisfactory performances, especially when generating large molecules. At the same time, the generated molecules lack enough diversity. This paper proposes a novel diffusion model to address those two challenges. First, interatomic relations are not in molecules' 3D point cloud representations. Thus, it is difficult for existing generative models to capture the potential interatomic forces and abundant local constraints. To tackle this challenge, we propose to augment the potential interatomic forces and further involve dual equivariant encoders to encode interatomic forces of different strengths. Second, existing diffusion-based models essentially shift elements in geometry along the gradient of data density. Such a process lacks enough exploration in the intermediate steps of the Langevin dynamics. To address this issue, we introduce a distributional controlling variable in each diffusion/reverse step to enforce thorough explorations and further improve generation diversity. Extensive experiments on multiple benchmarks demonstrate that the proposed model significantly outperforms existing methods for both unconditional and conditional generation tasks. We also conduct case studies to help understand the physicochemical properties of the generated molecules.

연구 동기 및 목표

• 기존의 확산 기반 3D 분자 생성 모델이 큰 분자와 낮은 다양성을 처리하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 3D 포인트 클라우드 표현에서 명시적인 원자 간 힘 모델링이 부족하여 정확한 국소 제약 학습이 어렵다는 문제를 해결하기 위해.
• 각 확산 단계에서 분포 제어 변수를 도입하여 잠재 공간의 철저한 탐색을 가능하게 함으로써 생성 다양성을 향상시키기 위해.
• 유효성과 안정성을 유지하면서도 목표로 하는 물리화학적 성질을 가진 분자를 고질적인 조건부 생성을 가능하게 하기 위해.

제안 방법

• MDM은 공유 결합 거리 이내의 원자 쌍에 대해 결합 유사 링크를 3D 포인트 클라우드에 추가하여 강한 원자 간 힘을 명시적으로 모델링한다.
• 강도가 다른 상호작용—공유 결합(단거리)과 반데르발스 힘(장거리)을 개선하기 위해 두 개의 별도된 등변 신경망을 사용하여 원자 간 힘을 인코딩한다.
• 각 확산 및 역방향 단계에 분포 제어 변수를 도입하여 잠재 분포에서 샘플링할 수 있도록 하여 탐색을 장려하고 다양성을 향상시킨다.
• 모델은 점수 기반 노이즈 제거와 함께 랭지에빈 역동성을 사용하며, 현재 기하학적 구조와 제어 변수에 조건화된 방식으로 안정적이고 유효한 3D 분자를 생성한다.
• 조건부 생성은 원자 특징과 결합된 성질 벡터(예: HOMO, LUMO, 전기 dipole 모멘트)에 조건화된 역방향 과정을 통해 달성된다.
• 학습 파이프라인은 QM9의 일부 서브셋에 대해 미세조정된 성질 분류기를 활용하여 조건부 생성을 안내하며, 예측된 성질에 대한 평균 절대 오차(MAE)를 통해 평가된다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서 원자 간 힘을 명시적으로 모델링하면 복잡한 기하학적 특성을 가진 큰 안정성 있는 분자를 더 잘 생성할 수 있는가?
• RQ2 각 확산 단계에서 분포 제어 변수를 도입하면 생성된 3D 분자의 다양성이 상당히 향상되는가?
• RQ3 조건부 생성 환경에서 목표로 하는 물리화학적 성질을 가진 분자를 생성할 때도 높은 유효성과 안정성을 유지할 수 있는가?
• RQ4 기존 방법이 국소 제약 모델링이 열악하여 어려움을 겪는 대용량 분자 벤치마크인 GEOM에서 모델의 성능은 어떠한가?

주요 결과

• MDM은 GEOM 데이터셋에서 31.4%의 높은 신규성 점수를 기록하여 이전 최상위 모델인 EDM보다 4.1% 향상되었다.
• QM9 데이터셋에서 MDM은 HOMO-LUMO 갭에 대해 MAE를 0.044로 줄였으며, EDM(0.655)를 능가했고, 일부 경우에서 QM9의 하한값(Lower-Bound) MAE 0.064를 초월하기도 하였다.
• 조건부 생성에서 뛰어난 성능을 보였으며, Naive 및 #Atoms와 같은 기준 모델보다 모든 6개 성질에서 일관되게 낮은 MAE 점수를 기록하였다.
• 사례 연구를 통해 극성도 값의 보간은 기대되는 기하학적 변화를 유도하는 것으로 확인되어 모델이 분자의 형태를 제어할 수 있음을 검증하였다.
• MDM는 모든 생성 작업에서 높은 유효성과 안정성을 유지하였으며, 다양성 향상에도 불구하고 품질에 하락이 없었다.
• 분포 제어 변수의 도입은 더 다양한 구조적 다양성을 가진 분자를 생성하게 하여 샘플링 중 잠재 공간 탐색의 효과성을 확인하였다.