[논문 리뷰] A Transformer-based Generative Model for De Novo Molecular Design

Wenlu Wang, Ye Wang외 2명|arXiv (Cornell University)|2022. 10. 17.

Computational Drug Discovery Methods인용 수 15

한 줄 요약

이 논문은 단백질 타겟을 조건으로 삼아 새로운 유효한 SMILES 문자열을 생성하는 조건부 기반 Transformer 기반 생성 모델인 cTransformer를 제안한다. 이 모델은 타겟 특화 임베딩을 활용하여 약물 유사성과 생물학적 활성을 갖춘 신규 화합물을 생성한다. 모델은 약물 유사성 및 타겟 특화 화합물 생성에서 최신 기술 수준의 성능을 달성하였으며, 높은 유효성, 고유성, 신규성과 함께 기존 활성 화합물과 동일한 화학적 공간을 점유하는 화합물을 생성한다.

ABSTRACT

In the scope of drug discovery, the molecular design aims to identify novel compounds from the chemical space where the potential drug-like molecules are estimated to be in the order of 10^60 - 10^100. Since this search task is computationally intractable due to the unbounded search space, deep learning draws a lot of attention as a new way of generating unseen molecules. As we seek compounds with specific target proteins, we propose a Transformer-based deep model for de novo target-specific molecular design. The proposed method is capable of generating both drug-like compounds (without specified targets) and target-specific compounds. The latter are generated by enforcing different keys and values of the multi-head attention for each target. In this way, we allow the generation of SMILES strings to be conditional on the specified target. Experimental results demonstrate that our method is capable of generating both valid drug-like compounds and target-specific compounds. Moreover, the sampled compounds from conditional model largely occupy the real target-specific molecules' chemical space and also cover a significant fraction of novel compounds.

연구 동기 및 목표

• 약물 발견에서 광범위한 화학적 공간($10^{60}$–$10^{100}$개 잠재적 약물 유사 분자)을 탐색하는 데 있어 계산적으로 비가능한 문제를 해결하기 위해.
• 원하는 타겟 특화 성질을 갖춘 새로운, 유효한, 약물 유사 구조를 생성할 수 있는 딥 생성 모델을 개발하기 위해.
• 타겟 단백질에 기반한 조건부 분자 생성을 가능하게 하기 위해 타겟 임베딩을 통합한 어텐션 메커니즘을 활용하기 위해.
• 기존 모델을 초월하여 유효성, 고유성뿐만 아니라 새로운 화합물과 생물학적 활성까지 확보하는 생성을 위해.
• 각 타겟에 대해 알려진 활성 화합물과 동일한 부분 화학적 공간을 점유하는지 검증하기 위해.

제안 방법

• 모델는 초기에 타겟 정보 없이 MOSES 데이터셋에서 사전 훈련된 Transformer 디코더 아키텍처를 사용하여 일반적인 약물 유사 SMILES 패턴을 학습한다.
• 조건부 미세조정 단계에서는 타겟 특화 임베딩을 다중 헤드 어텐션 메커니즘에 통합하며, 여기서 타겟이 키와 밸류로 작용하여 생성 과정을 조절한다.
• 모델는 세 가지 타겟 특화 데이터셋(EGFR, HTR1A, S1PR1)에서 미세조정되며, 타겟 임베딩이 디코더의 자체 어텐션 및 크로스 어텐션 레이어에 통합된다.
• SMILES 문자열은 자동적으로 토큰 단위로 순차적으로 생성되어 문법적 정확성과 화학적 유효성을 보장한다.
• 유효성, 고유성(Unique@10k), 그리고 신규성(학습 세트에 포함되지 않은 비율)과 같은 지표를 사용하여 모델 성능을 평가한다.
• 2048비트 FCFP6 지문, 166비트 MACCS 키, 319개의 RDKit 기술자를 사용한 QSAR 모델을 활용하여 활성 예측 및 생성된 화합물의 강도를 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 기본 설정에서 기반 기반 Transformer 모델이 유효하고 새로운, 약물 유사 SMILES 문자열을 생성할 수 있는가?
• RQ2 타겟 특화 임베딩을 어텐션 메커니즘에 통합하는 것이 원하는 타겟 친화도를 갖춘 화합물의 생성을 효과적으로 이끌 수 있는가?
• RQ3 생성된 화합물이 해당 타겟에 대해 알려진 활성 화합물과 동일한 화학적 공간을 점유하는가?
• RQ4 cRNN 기반의 조건부 RNN 베이스라인과 비교해 모델의 활성 화합물 생성 성능은 어떠한가?
• RQ5 생성된 화합물이 얼마나 높은 새로운 화합물 성질을 갖추고 있으며, 同시에 높은 예측 활성도를 유지하는가?

주요 결과

• cTransformer 모델은 모든 타겟에서 유효성 비율이 88% 이상을 기록했으며, EGFR의 경우 10,000개의 생성된 분자 중 94%가 고유했고, HTR1A는 89.6%, S1PR1은 83.8%였다.
• 모델는 높은 새로운 화합물 성질을 보였으며, EGFR의 경우 90%의 분자가 학습 세트에 존재하지 않았고, HTR1A는 78.7%, S1PR1은 68.4%로, cRNN 베이스라인보다 유의미하게 뛰어났다.
• QSAR 모델은 모든 타겟에서 피어슨 상관계수 0.75 이상을 예측하여, 모델가 생성한 화합물이 높은 예측 활성을 갖춘다는 것을 확인했다.
• cTransformer에서 생성된 상위 1,000~5,000개의 활성 화합물은 세 타겟 모두에서 cRNN에 비해 유의미하게 더 높은 예측 활성 분포를 보였다.
• UMAP 시각화 결과, 생성된 타겟 특화 화합물(어두운 색)과 실제 타겟 특화 화합물(밝은 색)이 동일한 부분 화학적 공간을 점유함을 확인하여 생물학적 관련성을 입증했다.
• 각 타겟에 대해 상위 24개의 활성 화합물이 식별되고 시각화되었으며, 이는 모델가 높은 잠재력을 지닌 후보를 생성할 수 있음을 보여주었다.