[논문 리뷰] MolE: a molecular foundation model for drug discovery

Oscar Méndez‐Lucio, Christos A. Nicolaou외 1명|arXiv (Cornell University)|2022. 11. 03.

Computational Drug Discovery Methods인용 수 8

한 줄 요약

MolE는 원자 환경을 토큰으로 사용하여 분자 그래프에서 직접 분자 표현을 학습하는 DeBERTa 기반 트랜스포머 아키텍처를 활용하는 분자 기초 모델이다. 화학 구조에 대한 자기지도 사전학습과 생물학적 성질에 대한 다중 작업 지도 사전학습을 결합함으로써 Therapeutic Data Commons 벤치마크에서 22개의 ADMET 작업 중 9개에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Models that accurately predict properties based on chemical structure are valuable tools in drug discovery. However, for many properties, public and private training sets are typically small, and it is difficult for the models to generalize well outside of the training data. Recently, large language models have addressed this problem by using self-supervised pretraining on large unlabeled datasets, followed by fine-tuning on smaller, labeled datasets. In this paper, we report MolE, a molecular foundation model that adapts the DeBERTa architecture to be used on molecular graphs together with a two-step pretraining strategy. The first step of pretraining is a self-supervised approach focused on learning chemical structures, and the second step is a massive multi-task approach to learn biological information. We show that fine-tuning pretrained MolE achieves state-of-the-art results on 9 of the 22 ADMET tasks included in the Therapeutic Data Commons.

연구 동기 및 목표

• 대규모 레이블이 없는 분자 데이터로 사전학습된 기초 모델을 개발하여 분자 성질 예측에서 레이블이 부족한 문제를 해결한다.
• 화학 구조와 생물학적 성질에서 뚜렷한 분자 표현을 학습함으로써 약물 발견의 일반화 능력을 향상시킨다.
• 특히 DeBERTa와 같은 트랜스포머 아키텍처를 자연어 처리 기술로 활용하여 원자 환경을 토큰으로 사용하는 분자 그래프에 적용한다.
• 자기지도 사전학습(분자 구조 기반)과 다중 작업 학습(생물학적 성질 기반)을 순차적으로 적용하는 이중 단계 사전학습 전략의 효과를 평가한다.
• 원자 환경 기반 표현이 기존의 핵산 프린팅보다 우수하며, 레이블이 적은 데이터셋에서의 미세조정 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• MolE는 중심 원자와 그 즉각적 이웃 원자들로 정의된 원자 환경을 토큰으로 사용하여 분자 그래프를 순차적 입력으로 처리할 수 있도록 한다.
• 모델는 DeBERTa에서 유래한 분리된 어텐션 메커니즘을 활용하여 분자 그래프 내 원자 간의 상대적 위치 관계를 모델링한다.
• 자기지도 사전학습은 낮은 반경(예: 반경 0)의 원자 환경으로부터 높은 반경(예: 반경 2)의 원자 환경을 예측하는 방식으로 이루어지며, 내재된 화학적 위상 구조를 학습한다.
• 지도 다중 작업 사전학습은 다양한 생물학적 및 물리화학적 성질을 사용하여 분자 표현을 功能적 관련성과 일치시킨다.
• 미세조정은 레이블이 적은 데이터셋을 활용하여 하류의 ADMET 예측 작업에 적용되며, 사전학습된 모델의 일반화 가능한 표현을 활용한다.
• 두 가지 변형을 평가한다: 원자 환경(AtomEnvs)을 사용하는 경우와 기능적 환경(FunctionalEnvs)을 사용하는 경우로, 보조 손실에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 원자 환경을 토큰으로 사용하여 트랜스포머 기반 모델이 분자 그래프에서 직접 분자 표현을 효과적으로 학습할 수 있는가?
• RQ2 분자 구조 기반 자기지도 사전학습과 생물학적 성질 기반 다중 작업 학습을 순차적으로 적용하는 이중 단계 사전학습 전략이 레이블이 적은 ADMET 작업의 성능을 향상시키는가?
• RQ3 기능적 환경(요약된 화학 기능기반 그룹)을 사용할 경우 원자 환경과 비교해 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 사전학습 중 보조 자기지도 목표함수를 도입하면 하류 작업의 성능 향상에 기여하는가?
• RQ5 MolE는 표준화된 ADMET 벤치마크에서 기존 최신 기술 수준의 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• MolE는 Therapeutic Data Commons 벤치마크에서 22개의 ADMET 작업 중 9개에서 최신 기술 수준 성능을 달성하였으며, 핵심 지표에서 기존 모델들을 능가했다.
• 지질성 예측에서 MolE는 평균 절대 오차(MAE) 0.469 ± 0.009를 기록하여 랭킹리스트에서 첫 번째로 기록했다.
• VDss 작업에서 MolE는 스피어만 상관계수 0.654 ± 0.031를 기록하여 첫 번째로 랭크되었으며, 이전 최고 성능 모델을 뚜렷이 능가했다.
• CYP2C9 억제 작업에서 MolE는 AUPRC 0.801 ± 0.003을 기록하여 첫 번째로 랭크되었으며, 이전 최고 성능 모델을 상당한 격차로 뛰어넘었다.
• 보조 손실을 포함한 자기지도 사전학습은 FunctionalEnvs 변형에서 성능 향상을 이끌었으며, 랭킹리스트의 22개 작업 중 4개에서 기존 랭킹 모델을 능가했다.
• 지도 사전학습이 적용된 경우, 보조 손실 추가로 인한 성능 향상은 관찰되지 않았으며, 지도 사전학습을 통한 미세조정이 가장 우수한 결과를 도출했다.