[논문 리뷰] Text-Guided Molecule Generation with Diffusion Language Model

Haisong Gong, Qiang Liu외 2명|arXiv (Cornell University)|2024. 02. 20.

Chemical Synthesis and Analysis인용 수 4

한 줄 요약

이 논문은 텍스트 유도 분자 생성을 위한 확산 언어 모델인 TGM-DLM을 제안한다. 이 모델은 두 단계 과정을 통해 작동한다: 첫 번째로 텍스트 유도를 통해 노이즈에서 SMILES 토큰 임베딩을 최적화하고, 두 번째로 텍스트 입력 없이 잘못된 SMILES 문자열을 수정한다. 추가 데이터 없이도 자동회귀 모델인 MolT5-Base보다 유효성 및 분자 유사도 지표에서 뛰어난 성능을 보이며, 제어되고 정밀한 분자 설계에 있어 확산 기반 생성의 우수성을 입증한다.

ABSTRACT

Text-guided molecule generation is a task where molecules are generated to match specific textual descriptions. Recently, most existing SMILES-based molecule generation methods rely on an autoregressive architecture. In this work, we propose the Text-Guided Molecule Generation with Diffusion Language Model (TGM-DLM), a novel approach that leverages diffusion models to address the limitations of autoregressive methods. TGM-DLM updates token embeddings within the SMILES string collectively and iteratively, using a two-phase diffusion generation process. The first phase optimizes embeddings from random noise, guided by the text description, while the second phase corrects invalid SMILES strings to form valid molecular representations. We demonstrate that TGM-DLM outperforms MolT5-Base, an autoregressive model, without the need for additional data resources. Our findings underscore the remarkable effectiveness of TGM-DLM in generating coherent and precise molecules with specific properties, opening new avenues in drug discovery and related scientific domains. Code will be released at: https://github.com/Deno-V/tgm-dlm.

연구 동기 및 목표

• 자동회귀 모델이 고정된 생성 순서로 인해 전반적인 제약 조건을 잘 다루지 못하는 데 기인한 한계를 해결하기 위해.
• SMILES 기반 생성에 있어 확산 모델의 활용을 탐색하여, 분자 표현의 종합적이고 반복적인 최적화를 가능하게 하기 위해.
• 잘못된 SMILES 문자열을 전용 보정 단계를 통해 수정함으로써 분자 유효성과 텍스트 기술서와의 일치도를 향상시키기 위해.
• 확산 기반 생성이 일관성 있고 정밀하며 유효한 분자를 생성하는 데서 자동회귀 기반 기준 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• TGM-DLM는 두 단계의 확산 생성 과정을 사용한다: 첫 번째 단계에서는 텍스트 기술서를 유도로 사용하여 무작위 노이즈에서 SMILES 토큰 임베딩을 최적화한다.
• 두 번째 단계에서는 텍스트 입력 없이 임베딩을 반복적으로 개선함으로써 잘못된 SMILES 문자열을 수정하며, 구조적 유효성에 집중한다.
• 모델은 두 가지 목적을 통해 훈련된다: 첫 번째 단계에서는 텍스트 유도를 통해 임베딩의 노이즈 제거, 두 번째 단계에서는 손상된 입력에서 원본 SMILES 복구.
• 두 단계 모두 동일한 트랜스포머 기반 아키텍처를 사용하며, 초기 텍스트 일치와 구조적 보정 간 균형을 맞추기 위해 별도의 훈련 목적을 설정한다.
• 보정 단계는 분자 표현을 개선하면서도 의미 일관성을 유지하는 데 전용 네트워크 헤드를 사용한다.
• 이 방법은 SMILES를 토큰의 시퀀스로 간주하고, 자동회귀가 아닌 방식으로 전체 임베딩을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 확산 기반 접근이 고정된 생성 순서로 인해 전반적인 제약 조건을 잘 다루지 못하는 자동회귀 모델을 능가할 수 있는가?
• RQ2 먼저 텍스트로 유도하고, 그 다음로 구조적 오류를 보정하는 두 단계의 확산 과정이 분자 유효성과 품질을 향상시키는 데 얼마나 효과적인가?
• RQ3 보정 단계 동안 텍스트 입력을 통합하면 모델이 유효하고 관련성이 높은 분자를 생성하는 데 능력이 향상되는가?
• RQ4 추가적인 사전 훈련 데이터나 외부 데이터셋에 대한 미세조정 없이도 확산 모델이 얼마나 분자 생성 성능을 향상시킬 수 있는가?

주요 결과

• TGM-DLM는 ChEBI-20 데이터셋에서 유효성 비율 88.3%를 달성하여, 보정 없이 사용한 경우 78.9%보다 뚜렷이 향상되었다.
• MolT5-Base의 성능을 삼배로 끌어올리며 정확한 일치 점수를 향상시켜, 더 정밀한 분자 문자열 생성 능력을 보였다.
• TGM-DLM는 MolT5-Base 대비 MACCS FTS와 같은 지문 유사도 지표에서 18%에서 36% 높은 성능을 기록하여, 더 나은 분자 구조 일치도를 보였다.
• 보정 단계에서 한 번의 스텝 수를 사용할 경우 유효성은 78.9%에서 87.1%로 상승하여, 구조적 개선의 효과를 입증했다.
• 보정 단계에서 텍스트 입력을 사용해도 유효성은 82.4%를 초과하지 않으며, 이는 구조적 오류 수정 능력에 해로울 수 있음을 시사한다.
• 두 단계를 하나의 네트워크에서 공동 훈련할 경우 별도 훈련보다 성능이 열 劣하므로, 별개의 목적은 별도 최적화를 통해 더 유리함을 보였다.