[논문 리뷰] Current Methods for Drug Property Prediction in the Real World

Jacob Green, Cecilia Cabrera Diaz외 4명|arXiv (Cornell University)|2023. 07. 25.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 연구는 TDC, MoleculeNet 및 OPERA의 다양한 데이터셋에서 약물 성질 예측을 위한 기계학습 방법에 대한 대규모 실증 비교를 수행한다. 고전적 모델(예: 가우시안 프로세스, 랜덤 포레스트)과 딥러닝 접근법(예: GNN, 언어 모델)을 평가하며, 성능은 데이터셋 유형에 따라 크게 달라지며, 특히 QSAR 데이터셋에서는 고전적 모델이 딥러닝 모델보다 뛰어난 성능을 보이며, 불확실성 측정 및 계산 효율성의 핵심적 역할이 실제 약물 발굴 워크플로우에서 중요하다는 점을 밝혀낸다.

ABSTRACT

Predicting drug properties is key in drug discovery to enable de-risking of assets before expensive clinical trials, and to find highly active compounds faster. Interest from the Machine Learning community has led to the release of a variety of benchmark datasets and proposed methods. However, it remains unclear for practitioners which method or approach is most suitable, as different papers benchmark on different datasets and methods, leading to varying conclusions that are not easily compared. Our large-scale empirical study links together numerous earlier works on different datasets and methods; thus offering a comprehensive overview of the existing property classes, datasets, and their interactions with different methods. We emphasise the importance of uncertainty quantification and the time and therefore cost of applying these methods in the drug development decision-making cycle. We discover that the best method depends on the dataset, and that engineered features with classical ML methods often outperform deep learning. Specifically, QSAR datasets are typically best analysed with classical methods such as Gaussian Processes while ADMET datasets are sometimes better described by Trees or Deep Learning methods such as Graph Neural Networks or language models. Our work highlights that practitioners do not yet have a straightforward, black-box procedure to rely on, and sets the precedent for creating practitioner-relevant benchmarks. Deep learning approaches must be proven on these benchmarks to become the practical method of choice in drug property prediction.

연구 동기 및 목표

• 다양한 데이터셋에서 약물 성질 예측 방법에 대한 일관되고 비교 가능한 벤치마크의 부족을 해결한다.
• 다양한 종류의 약물 성질 데이터셋에서 일관되게 다른 모델보다 뛰어난 성능을 보이는 기계학습 모델을 특정한다.
• 다양한 모델 간의 불확실성 측정을 평가하고 검증하여 약물 개발의 신뢰성 있는 의사결정을 지원한다.
• 실제 약물 개발 파이프라인에서 시간 민감도가 높은 상황에서 예측 성능와 계산 런타임 간의 상호 교환 관계를 평가한다.
• 실제 적용 환경에서의 향후 방법 평가를 위한 실무자 중심의 기초 벤치마크를 구축한다.

제안 방법

• TDC, MoleculeNet 및 OPERA의 12개 공개 데이터셋에서 12개의 고전적 및 딥러닝 모델을 대규모 실증 연구로 비교했다.
• 모든 모델과 데이터셋 간의 비교 가능성을 확보하기 위해 표준화된 데이터 분할 및 평가 지표(NRMSE, NLPD)를 사용했다.
• 3중 교차검증을 통한 랜덤 서치를 통한 하이퍼파rameter 최적화를 수행하고, 최종 모델은 전체 훈련 세트로 재학습했다.
• 확률적 모델(예: 가우시안 프로세스, 베이지안 신경망)에 대한 불확실성 측정을 통합하고, NLPD 및 예측 구간을 사용해 校정( calibration )을 평가했다.
• GPU 및 CPU에서 훈련, 추론 및 특성 추출 런타임을 측정하여 계산 비용과 확장성 평가를 수행했다.
• ECFP, Mordred, Mol2Vec, InfoMax2D 등 다양한 분자 기술자(기능)를 사용하여 특성 공학의 모델 성능에 미치는 영향을 평가했다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 약물 성질 예측 데이터셋에서 어떤 기계학습 방법이 일관되게 다른 방법보다 뛰어나게 성능을 내는가?
• RQ2 RQ2: 특정 그룹의 데이터셋에서 단일 방법이 항상 다른 모든 방법보다 뛰어나게 성능을 내는 경우가 존재하는가?
• RQ3 RQ3: 분자 성질 예측에서 다양한 기계학습 모델 간에 효과적으로 불확실성을 측정하고 검증할 수 있는 방법은 무엇인가?
• RQ4 RQ4: 실질적인 약물 개발 응용에서 예측 성능와 계산 런타임 간의 상호 교환 관계는 어떠한가?

주요 결과

• 고전적 기계학습 모델, 특히 공학된 특징(예: ECFP, Mol2Vec)을 사용한 가우시안 프로세스는 QSAR 데이터셋에서 딥러닝 모델을 일관되게 뛰어넘었으며, 가장 낮은 NRMSE 및 NLPD 점수를 기록했다.
• ADMET 데이터셋에서는 트리 기반 모델(예: LightGBM)과 그래프 신경망(GNN)이 뛰어난 성능을 보였으며, DMPNN 및 GCN와 같은 GNN은 US9908845B2와 같은 특정 데이터셋에서 경쟁 가능한 성능을 기록했다.
• 화학적으로 정보가 반영된 커널을 사용한 가우시안 프로세스(GP-C)는 여러 QSAR 데이터셋에서 최고 성능을 기록했으며, 특히 COVID_moonshot 데이터셋에서 NRMSE 2.411 및 NLPD 0.01869를 기록했다.
• 딥러닝 모델인 ChemBERTa-2 및 MTL-BERT는 중간 수준의 예측 성능에도 불구하고 높은 계산 비용을 보였으며, 대규모 데이터셋에서 훈련 시간이 20시간 이상 소요되었다.
• 불확실성 측정은 가우시안 프로세스 모델에서 가장 신뢰할 수 있었으며, 잘 校정된 예측 구간을 보였다. 반면 딥러닝 모델은 종종 과신하거나 캘리브레이션에 실패했다.
• 런타임은 크게 다를 수 있었으며, ECFP 기반 모델은 10분 이내에 훈련되었지만, GNN 및 언어 모델은 대규모 데이터셋에서 10시간 이상 소요되어 정확도와 속도 사이의 주요 상충관계를 드러냈다.