[논문 리뷰] Drug Synergistic Combinations Predictions via Large-Scale Pre-Training and Graph Structure Learning

Zhigang Hu, Qinze Yu외 6명|arXiv (Cornell University)|2023. 01. 14.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 대규모 사전 훈련된 모델과 그래프 구조 학습을 활용하여 상호작용하는 약물 조합을 예측하는 새로운 딥러닝 프레임워크를 제안한다. 메시지 전달 그래프와 의사관계 학습을 통해 다중 모odal한 약물, 단백질, 질병 표현을 통합함으로써, 기존의 최상위 성능를 넘어서는 성능을 달성하였으며, 독립된 AstraZeneca 테스트 세트에서 10% 향상된 성능과 새로운 약물에 대해 2위 모델 대비 15% 이상 높은 AUROC를 기록하였다.

ABSTRACT

Drug combination therapy is a well-established strategy for disease treatment with better effectiveness and less safety degradation. However, identifying novel drug combinations through wet-lab experiments is resource intensive due to the vast combinatorial search space. Recently, computational approaches, specifically deep learning models have emerged as an efficient way to discover synergistic combinations. While previous methods reported fair performance, their models usually do not take advantage of multi-modal data and they are unable to handle new drugs or cell lines. In this study, we collected data from various datasets covering various drug-related aspects. Then, we take advantage of large-scale pre-training models to generate informative representations and features for drugs, proteins, and diseases. Based on that, a message-passing graph is built on top to propagate information together with graph structure learning flexibility. This is first introduced in the biological networks and enables us to generate pseudo-relations in the graph. Our framework achieves state-of-the-art results in comparison with other deep learning-based methods on synergistic prediction benchmark datasets. We are also capable of inferencing new drug combination data in a test on an independent set released by AstraZeneca, where 10% of improvement over previous methods is observed. In addition, we're robust against unseen drugs and surpass almost 15% AU ROC compared to the second-best model. We believe our framework contributes to both the future wet-lab discovery of novel drugs and the building of promising guidance for precise combination medicine.

연구 동기 및 목표

• 비용이 많이 드는 웻랩 실험을 피하기 위해 효율적으로 상호작용하는 약물 조합을 식별하는 데 도전한다.
• 기존 모델들이 새로운 약물과 세포선에 대해 일반화 능력이 부족한 점을 극복한다.
• 다양한 생물학적 데이터(약물, 단백질, 질병)를 통합하여 통합된 예측 프레임워크를 구축한다.
• 도메인 이동과 새로운 약물 조합을 처리할 수 있는 강건하고 일반화 가능한 모델을 개발한다.
• 학습 분포를 초월한 새로운 약물 조합에 대해 정확한 추론을 가능하게 한다.

제안 방법

• 다양한 데이터 소스에서 유의미한 표현을 생성하기 위해 대규모 사전 훈련을 활용하여 약물, 단백질, 질병에 대한 표현을 생성한다.
• 메시지 전달 그래프를 구성하여 노드 간 정보를 전파하면서도, 유연한 그래프 구조 학습을 통해 의사관계를 탐색한다.
• 예측을 정교화하고 모델 일반화 능력을 향상시키기 위해 자기 훈련 전략을 도입한다.
• 특징 학습을 향상시키기 위해 약물-약물 상호작용(DDI)과 약물-타겟 상호작용(DTI)을 위한 이중 예측 헤드를 활용한다.
• 효율적인 그래프 표현 학습을 위해 4, 8, 12개의 어텐션 헤드를 사용한 다중 헤드 그래프 어텐션 네트워크(GAT)를 적용한다.
• 최종 상호작용 효과 분류를 위해 3072, 768, 128 차원을 사용한 다층 퍼셉트론(MLP)을 사용한다.

실험 결과

연구 질문

• RQ1 다중 모달 생물학적 데이터를 활용하여 통합된 딥러닝 프레임워크가 상호작용하는 약물 조합을 효과적으로 예측할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 새로운 약물과 세포선에 대해 모델의 일반화 능력은 얼마나 뛰어나게 되는가?
• RQ3 사전 훈련된 표현과 그래프 구조 학습을 통합함으로써 기존 방법에 비해 예측 성능 향상이 이루어지는가?
• RQ4 자기 훈련 전략과 이중 예측 헤드가 모델의 강건성과 정확도를 얼마나 향상시키는가?
• RQ5 AstraZeneca 데이터셋과 같은 독립적 실세계 테스트 세트에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델은 벤치마크 데이터셋에서 최상위 성능를 기록하였으며, AUROC, AUPRC, F1-Score에서 기존의 딥러닝 기반 방법들을 능가하였다.
• 독립된 AstraZeneca 테스트 세트에서 이전 방법 대비 10% 향상된 성능를 보였다.
• 새로운 약물에 대해 강건성을 입증하였으며, 새로운 약물 평가에서 2위 모델 대비 AUROC가 15% 이상 높았다.
• 제거 실험 결과, 자기 훈련 전략과 DDI/DTI 예측 모듈이 모두 모델 성능 향상에 기여하는 것으로 확인되었다.
• 풍부한 사전 훈련된 임bedding의 사용이 핵심적이다. 이를 원-핫 인코딩 또는 프린트포스트로 대체할 경우 성능 저하가 심각하게 발생하였다.
• 다양한 세포선 빈도에서 안정적인 성능를 유지하여 강력한 일반화 능력과 데이터 분포 이동에 대한 저항성을 입증하였다.