[论文解读] Drug Synergistic Combinations Predictions via Large-Scale Pre-Training and Graph Structure Learning

Zhigang Hu, Qinze Yu+6 more|arXiv (Cornell University)|Jan 14, 2023

Computational Drug Discovery Methods被引用 4

一句话总结

该论文提出了一种新颖的深度学习框架，利用大规模预训练模型和图结构学习来预测药物组合的协同作用。通过将多模态药物、蛋白和疾病表征与消息传递图及伪关系学习相结合，该模型实现了最先进（SOTA）的性能表现，包括在独立的阿斯利康测试集上提升10%，并在未见药物上的AUROC指标超过第二名模型15%以上。

ABSTRACT

Drug combination therapy is a well-established strategy for disease treatment with better effectiveness and less safety degradation. However, identifying novel drug combinations through wet-lab experiments is resource intensive due to the vast combinatorial search space. Recently, computational approaches, specifically deep learning models have emerged as an efficient way to discover synergistic combinations. While previous methods reported fair performance, their models usually do not take advantage of multi-modal data and they are unable to handle new drugs or cell lines. In this study, we collected data from various datasets covering various drug-related aspects. Then, we take advantage of large-scale pre-training models to generate informative representations and features for drugs, proteins, and diseases. Based on that, a message-passing graph is built on top to propagate information together with graph structure learning flexibility. This is first introduced in the biological networks and enables us to generate pseudo-relations in the graph. Our framework achieves state-of-the-art results in comparison with other deep learning-based methods on synergistic prediction benchmark datasets. We are also capable of inferencing new drug combination data in a test on an independent set released by AstraZeneca, where 10% of improvement over previous methods is observed. In addition, we're robust against unseen drugs and surpass almost 15% AU ROC compared to the second-best model. We believe our framework contributes to both the future wet-lab discovery of novel drugs and the building of promising guidance for precise combination medicine.

研究动机与目标

• 为高效识别协同药物组合提供解决方案，避免昂贵的湿实验。
• 克服先前模型在新药物和细胞系上泛化能力不足的局限。
• 将多模态生物数据（药物、蛋白、疾病）整合到统一的预测框架中。
• 开发一种稳健且可泛化的模型，能够应对领域偏移和未见药物组合。
• 实现在训练分布之外的新药物组合上的准确推理。

提出的方法

• 利用大规模预训练从多样化数据源生成药物、蛋白和疾病丰富的信息表征。
• 构建消息传递图，实现节点间的信息传播，同时支持灵活的图结构学习以发现伪关系。
• 引入自训练策略以优化预测并提升模型泛化能力。
• 采用双预测头机制分别预测药物-药物相互作用（DDI）和药物-靶点相互作用（DTI），以增强特征学习。
• 应用多头图注意力网络（GAT），分别使用4、8和12个注意力头以实现有效的图表征学习。
• 使用包含3072、768和128维的多层感知机（MLP）进行最终的协同效应分类。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效利用多模态生物数据预测协同药物组合？
• RQ2 该模型在训练过程中未见的新药物和细胞系上的泛化能力如何？
• RQ3 与现有方法相比，引入预训练表征和图结构学习是否能提升预测性能？
• RQ4 自训练策略和双预测头机制在多大程度上提升了模型的鲁棒性和准确性？
• RQ5 该模型在独立的真实世界测试集（如阿斯利康数据集）上的表现如何？

主要发现

• 所提出的模型在基准数据集上实现了最先进性能，优于现有基于深度学习的方法，在AUROC、AUPRC和F1-Score指标上均表现更优。
• 在独立的阿斯利康测试集上，模型性能相比先前方法提升了10%。
• 模型对未见药物表现出强鲁棒性，在未见药物评估中AUROC指标超过第二名模型15%以上。
• 消融实验表明，自训练策略以及DDI/DTI预测模块对模型性能的提升具有显著贡献。
• 使用丰富且预训练的嵌入表征至关重要——若替换为独热编码或指纹表示，性能将出现显著下降。
• 模型在不同细胞系频率下保持稳定性能，表明其具备强泛化能力并能有效抵抗数据分布偏移。