[论文解读] Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response

Yitan Zhu, Thomas Brettin+7 more|arXiv (Cornell University)|May 13, 2020

Computational Drug Discovery Methods参考文献 37被引用 8

一句话总结

本文提出了一种集成迁移学习框架，利用多种模型——LightGBM 和两个深度神经网络（DNN）——来预测针对新肿瘤细胞系和新抗癌药物的药物反应。通过将知识从源药物筛选数据集迁移到目标数据集，该集成方法在药物再利用、精准肿瘤学和新药开发中显著提升了预测性能，其中一种专门设计的 DNN 架构在大多数场景下表现优于其他模型。

ABSTRACT

Transfer learning has been shown to be effective in many applications in which training data for the target problem are limited but data for a related (source) problem are abundant. In this paper, we apply transfer learning to the prediction of anti-cancer drug response. Previous transfer learning studies for drug response prediction focused on building models that predict the response of tumor cells to a specific drug treatment. We target the more challenging task of building general prediction models that can make predictions for both new tumor cells and new drugs. We apply the classic transfer learning framework that trains a prediction model on the source dataset and refines it on the target dataset, and extends the framework through ensemble. The ensemble transfer learning pipeline is implemented using LightGBM and two deep neural network (DNN) models with different architectures. Uniquely, we investigate its power for three application settings including drug repurposing, precision oncology, and new drug development, through different data partition schemes in cross-validation. We test the proposed ensemble transfer learning on benchmark in vitro drug screening datasets, taking one dataset as the source domain and another dataset as the target domain. The analysis results demonstrate the benefit of applying ensemble transfer learning for predicting anti-cancer drug response in all three applications with both LightGBM and DNN models. Compared between the different prediction models, a DNN model with two subnetworks for the inputs of tumor features and drug features separately outperforms LightGBM and the other DNN model that concatenates tumor features and drug features for input in the drug repurposing and precision oncology applications. In the more challenging application of new drug development, LightGBM performs better than the other two DNN models.

研究动机与目标

• 解决针对新药物和新肿瘤细胞系预测抗癌药物反应时训练数据有限的挑战。
• 将迁移学习从单药预测扩展到可泛化的模型，适用于新药物和新细胞系。
• 评估集成迁移学习在三个关键肿瘤学应用中的有效性：药物再利用、精准肿瘤学和新药开发。
• 比较在跨域预测设置下，不同模型（LightGBM 和两种 DNN 架构）在迁移学习中的性能表现。

提出的方法

• 应用经典的迁移学习流程：在源药物筛选数据集上预训练模型，并在目标数据集上微调。
• 实施一种集成策略，结合 LightGBM 和两种不同输入架构的 DNN 模型的预测结果。
• 使用一种具有两个独立子网络的 DNN——一个用于肿瘤特征，一个用于药物特征——以实现分层特征学习。
• 使用第二种 DNN，将肿瘤和药物特征拼接成一个单一输入向量以进行对比。
• 使用不同的数据划分方案进行交叉验证，以模拟真实世界的应用场景。
• 使用标准回归指标（如 R²、RMSE）在保留的测试集上评估模型性能，涵盖源-目标领域迁移场景。

实验结果

研究问题

• RQ1 在推广到新肿瘤细胞系和新药物时，集成迁移学习能否提升抗癌药物反应预测的准确性？
• RQ2 模型架构的选择（LightGBM 与具有独立输入或拼接输入的 DNN）在不同肿瘤学应用中的表现如何？
• RQ3 在低数据场景下，集成迁移学习是否优于标准监督学习在药物反应预测中的表现？
• RQ4 在药物再利用、精准肿瘤学或新药开发这三种应用场景中，集成迁移学习框架在哪一类中展现出最大的优势？

主要发现

• 该集成迁移学习框架在药物再利用、精准肿瘤学和新药开发这三个应用中均显著提升了预测性能。
• 在药物再利用和精准肿瘤学场景中，采用肿瘤和药物特征独立子网络的 DNN 表现优于 LightGBM 和拼接输入的 DNN，表明其在特征解耦方面更具优势。
• 在更具挑战性的新药开发场景中，LightGBM 的表现优于两种 DNN 模型，表明其在低数据、高变异性场景下的鲁棒性。
• 迁移学习方法在从一个体外药物筛选数据集迁移到另一个数据集时，始终优于基线模型，证明了其领域泛化能力。
• 集成策略有效结合了多种模型的优势，降低了方差，并在不同目标领域中增强了预测的稳定性。
• 结果验证了模型架构设计——特别是使用模态特定子网络——在多模态生物数据迁移学习成功中的关键作用。