[论文解读] A cross-study analysis of drug response prediction in cancer cell lines

Fangfang Xia, Jonathan Allen+22 more|arXiv (Cornell University)|Apr 18, 2021

Computational Drug Discovery Methods参考文献 59被引用 9

一句话总结

本研究利用机器学习方法，在五个主要数据集（NCI60、CTRP、GDSC、CCLE、gCSI）中评估了癌症细胞系的药物反应预测，以检验模型在单一研究内部交叉验证之外的泛化能力。多任务深度神经网络在跨研究性能方面表现最佳，其中在CTRP上训练的模型展现出更优的泛化能力，且药物多样性比肿瘤多样性对模型鲁棒性的影响更为关键。

ABSTRACT

To enable personalized cancer treatment, machine learning models have been developed to predict drug response as a function of tumor and drug features. However, most algorithm development efforts have relied on cross validation within a single study to assess model accuracy. While an essential first step, cross validation within a biological data set typically provides an overly optimistic estimate of the prediction performance on independent test sets. To provide a more rigorous assessment of model generalizability between different studies, we use machine learning to analyze five publicly available cell line-based data sets: NCI60, CTRP, GDSC, CCLE and gCSI. Based on observed experimental variability across studies, we explore estimates of prediction upper bounds. We report performance results of a variety of machine learning models, with a multitasking deep neural network achieving the best cross-study generalizability. By multiple measures, models trained on CTRP yield the most accurate predictions on the remaining testing data, and gCSI is the most predictable among the cell line data sets included in this study. With these experiments and further simulations on partial data, two lessons emerge: (1) differences in viability assays can limit model generalizability across studies, and (2) drug diversity, more than tumor diversity, is crucial for raising model generalizability in preclinical screening.

研究动机与目标

• 评估药物反应预测模型在独立癌症细胞系研究之间的泛化能力，超越单一研究内部交叉验证带来的乐观估计。
• 识别在外部研究测试中产生最稳健预测结果的数据集和模型架构。
• 研究实验变异性（尤其是存活率检测方法的差异）对模型可迁移性的影响。
• 确定在临床前筛选中，肿瘤多样性还是药物多样性对提升模型泛化能力更为关键。
• 通过识别最优的数据采集策略，为未来实验设计提供指导，以最大化模型在精准肿瘤学中的实用性。

提出的方法

• 收集并整合了来自五个公开细胞系筛选研究的数据：NCI60、CTRP、GDSC、CCLE 和 gCSI。
• 训练了多种机器学习模型，包括传统机器学习和深度学习架构，特别关注多任务深度神经网络，以利用跨任务的共享表征。
• 通过跨研究迁移学习评估模型性能：在一个数据集上训练，在其他数据集上测试，以衡量泛化能力。
• 通过部分数据模拟评估缺失药物或细胞系样本对模型性能的影响。
• 使用 R² 及其他指标量化各数据集上的预测准确性和性能上限。
• 分析存活率检测方法差异（如磺红染料 B、CellTiterGlo、Syto60）对模型可迁移性和预测可靠性的影响。

实验结果

研究问题

• RQ1 通过单个研究内部交叉验证估计的模型性能，与在独立外部研究中的表现相比如何？
• RQ2 哪个数据集能产生在不同研究间最具有泛化能力的药物反应预测模型？
• RQ3 存活率检测方法的差异在多大程度上限制了模型在不同研究间的泛化能力？
• RQ4 在临床前药物筛选中，肿瘤多样性还是药物多样性对提升模型泛化能力更为关键？
• RQ5 在多任务深度学习框架中引入辅助任务，对跨研究预测性能有何影响？

主要发现

• 在单一研究内部的交叉验证显著高估了模型准确性，真实世界中的跨研究性能通常显著更低。
• 在 CTRP 数据上训练的模型在所有其他测试数据集上均取得了最高的预测准确性，优于在 GDSC、CCLE、NCI60 和 gCSI 上训练的模型。
• 在五个数据集中，gCSI 是最易预测的数据集，其在多种评估指标下均表现出最一致且最高的性能。
• 多任务深度神经网络在跨研究泛化方面表现最佳，表明共享表征学习可提升迁移性能。
• 药物多样性被证明比肿瘤多样性对模型泛化能力更为关键，因为当药物数据被剔除时，模型性能显著下降，而细胞系数据被剔除时影响较小。
• 存活率检测方法的差异（如磺红染料 B 与 CellTiterGlo）是导致实验变异性的重要来源，限制了模型在不同研究间的可迁移性。