[논문 리뷰] 3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation

Huaisheng Zhu, Teng Xiao외 1명|arXiv (Cornell University)|2024. 03. 11.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

3M-Diffusion는 텍스트 지도로 분자의 그래프를 생성하기 위한 새로운 잠재 다중모달 확산 모델을 제안한다. 이 모델은 분자의 구조를 연속적인 잠재 공간으로 매핑하는 그래프 오토인코더를 활용하여 텍스트 임bedding과 정렬된 잠재 공간을 생성한다. 이러한 정렬된 잠재 공간에서 확산 모델을 훈련시킴으로써, 텍스트 기반 설명과 일치하는 다양한 새로운 구조를 갖는 의미적으로 정확한 분자 구조를 생성한다. 이는 여러 벤치마크에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Generating molecular structures with desired properties is a critical task with broad applications in drug discovery and materials design. We propose 3M-Diffusion, a novel multi-modal molecular graph generation method, to generate diverse, ideally novel molecular structures with desired properties. 3M-Diffusion encodes molecular graphs into a graph latent space which it then aligns with the text space learned by encoder-based LLMs from textual descriptions. It then reconstructs the molecular structure and atomic attributes based on the given text descriptions using the molecule decoder. It then learns a probabilistic mapping from the text space to the latent molecular graph space using a diffusion model. The results of our extensive experiments on several datasets demonstrate that 3M-Diffusion can generate high-quality, novel and diverse molecular graphs that semantically match the textual description provided.

연구 동기 및 목표

• 기존 방법이 텍스트 기반 설명으로부터 다양한 새로운 분자 구조를 생성하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 분자 생성에서 SMILES 인코딩의 탈선성과 구조적 모호성을 극복하기 위해.
• 빔 서치나 그리디 디코딩을 넘어서, 텍스트 지도 분자 생성의 다양성과 품질을 향상시키기 위해.
• 프롬프트 엔지니어링을 통해 원하는 성질(예: 용해도, 약물 유사성)을 갖는 분자의 조건부 생성을 가능하게 하기 위해.
• 텍스트와 분자 그래프의 잠재 공간을 정렬함으로써 다중모달 분자 생성을 위한 통합 프레임워크를 구축하기 위해.

제안 방법

• 그래프 오토인코더가 분자 그래프를 구조적 복잡성과 분리된 연속적인 잠재 공간으로 인코딩한다.
• 대규모 분자-텍스트 쌍 코퍼스에서 대조적 학습을 통해 텍스트 및 분자 그래프 인코더를 사전 훈련하여 잠재 표현을 정렬한다.
• 잠재 확산 모델이 텍스트 조건부 잠재 공간에서 분자 그래프 잠재 공간으로의 확률적 매핑을 학습한다.
• 확산 과정은 연속적인 잠재 공간에서 작동하여 고수준의 의미적 제어를 가능하게 하면서도 구조적 정밀도를 유지한다.
• 생성된 분자는 잠재 공간에서 디코딩되며, 유효성, 신규성, 입력 텍스트와의 의미 정합성에 대해 평가된다.
• 조건부 생성은 프롬프트 엔지니어링을 통해 달성되며, 특정 텍스트 프롬프트가 원하는 분자 성질로 모델을 유도한다.

실험 결과

연구 질문

• RQ1 잠재 다중모달 확산 모델은 주어진 텍스트 기반 설명과 의미적으로 일치하는 다양한 새로운 분자 구조를 생성할 수 있는가?
• RQ2 텍스트와 분자 그래프의 잠재 공간을 정렬함으로써 생성 품질과 다양성이 어떻게 향상되는가?
• RQ3 모델은 무조건적 및 텍스트 지도 분자 그래프 생성 작업에서 최신 기술(SOTA) 모델을 능가할 수 있는가?
• RQ4 프롬프트 조건부 처리를 통해 원하는 성질(예: 높은 logP, 약물 유사성)을 갖는 분자를 얼마나 잘 생성할 수 있는가?
• RQ5 기준 분자와의 구조적 유사성과 새로운 성분의 도입 사이에서 모델은 어떻게 균형을 이룹니까?

주요 결과

• 3M-Diffusion는 MolT5-large와 같은 최신 기술(SOTA) 모델보다 다양한 새로운 분자 구조를 생성하면서도 높은 텍스트 프롬프트 정합성을 유지한다.
• 프롬프트 기반 조건부 처리를 통해 MolT5-large보다 더 높은 logP 값을 갖는 분자를 생성함으로써 용해도 성질 향상이 가능하다.
• 정성적 분석 결과, 3M-Diffusion는 기준 분자(예: 플라바논)와 유사한 구조를 유지하면서도 새로운 부분 구조를 도입한 분자를 생성한다.
• 절단 실험 결과, 텍스트와 분자 그래프 간의 잠재 공간 정렬이 성능 향상에 필수적임을 확인하였으며, 정렬이 제거되면 품질이 크게 떨어진다.
• 모델는 실제 기준 분자와 공통 부분 구조를 공유하는 분자를 성공적으로 생성하여 핵심 약리학적 기능을 유지할 수 있음을 보여준다.
• 실세계 네 가지 벤치마크에서 뛰어난 성능을 기록하여, 텍스트 지도 분자 생성에서의 강건성과 일반화 능력을 입증한다.