[論文レビュー] A cross-study analysis of drug response prediction in cancer cell lines

Fangfang Xia, Jonathan Allen+22 more|arXiv (Cornell University)|Apr 18, 2021

Computational Drug Discovery Methods参考文献 59被引用数 9

ひとこと要約

本研究では、NCI60、CTR P、GDSC、CCLE、gCSIの5つの主要なデータセット（NCI60、CTR P、GDSC、CCLE、gCSI）を用いて、機械学習を用いてがん細胞系における薬剤応答予測の一般化性能を評価し、単一研究における交差検証を超えたモデルの一般化可能性を検証した。マルチタスク深層ニューラルネットワークが最高の外部研究性能を示し、CTR Pで学習したモデルは一般化性能に優れており、腫瘍の多様性よりも薬剤の多様性がモデルの頑健性にとってより重要であることが明らかになった。

ABSTRACT

To enable personalized cancer treatment, machine learning models have been developed to predict drug response as a function of tumor and drug features. However, most algorithm development efforts have relied on cross validation within a single study to assess model accuracy. While an essential first step, cross validation within a biological data set typically provides an overly optimistic estimate of the prediction performance on independent test sets. To provide a more rigorous assessment of model generalizability between different studies, we use machine learning to analyze five publicly available cell line-based data sets: NCI60, CTRP, GDSC, CCLE and gCSI. Based on observed experimental variability across studies, we explore estimates of prediction upper bounds. We report performance results of a variety of machine learning models, with a multitasking deep neural network achieving the best cross-study generalizability. By multiple measures, models trained on CTRP yield the most accurate predictions on the remaining testing data, and gCSI is the most predictable among the cell line data sets included in this study. With these experiments and further simulations on partial data, two lessons emerge: (1) differences in viability assays can limit model generalizability across studies, and (2) drug diversity, more than tumor diversity, is crucial for raising model generalizability in preclinical screening.

研究の動機と目的

• 単一研究内での交差検証による楽観的推定とは異なり、独立したがん細胞系研究間での薬剤応答予測モデルの一般化可能性を評価すること。
• 外部研究でテストされた場合に、どのデータセットとモデルアーキテクチャが最も頑健な予測をもたらすかを特定すること。
• 特に生存率アッセイの違いに起因する実験的ばらつきが、モデルの転送性に与える影響を調査すること。
• 臨床前スクリーニングにおいて、腫瘍多様性と薬剤多様性のどちらがモデルの一般化可能性を向上させるためにより重要であるかを特定すること。
• 精度医療におけるモデルの有用性を最大化するための最適なデータ収集戦略を導くために、今後の実験設計を支援すること。

提案手法

• NCI60、CTR P、GDSC、CCLE、gCSIの5つの公開された細胞系スクリーニング研究から、薬剤応答データを収集・統合した。
• 伝統的な機械学習と深層学習アーキテクチャを含む多様な機械学習モデルを訓練し、特にタスク間で共有される表現を活用するマルチタスク深層ニューラルネットワークに注目した。
• モデルのパフォーマンスを、あるデータセットで学習し、他のデータセットでテストする外部研究間転移学習を用いて評価し、一般化性能を測定した。
• 欠損した薬剤または細胞線量の影響を評価するために、部分的データを用いたシミュレーションを実施した。
• R²などの指標を用いて、各データセットにおける予測精度とパフォーマンスの上限を定量化した。
• 生存率アッセイの違い（例：スルフォルホルホイドラミンB、CellTiterGlo、Syto60）が、モデルの転送性と予測信頼性に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 単一研究内での交差検証によるモデルパフォーマンス推定値は、独立した外部研究でのパフォーマンスと比べてどのように異なるか？
• RQ2 どのデータセットが、異なる研究間で最も一般化可能な薬剤応答予測モデルを提供するか？
• RQ3 生存率アッセイの違いが、研究間でのモデル一般化可能性にどの程度制限要因となるか？
• RQ4 臨床前スクリーニングにおいて、腫瘍多様性と薬剤多様性のどちらがモデル一般化可能性の向上により重要か？
• RQ5 マルチタスク深層学習フレームワークにおける補助タスクの導入が、研究間予測パフォーマンスにどのように影響するか？

主な発見

• 1つの研究内での交差検証は、モデルの正確さを著しく高めすぎており、現実世界の外部研究でのパフォーマンスは著しく低くなる傾向にある。
• CTR Pデータで学習したモデルが、他のすべてのテストデータセットで最高の予測精度を示し、GDSC、CCLE、NCI60、gCSIで学習したモデルを上回った。
• gCSIは5つのデータセットの中で最も予測可能で、複数の評価指標において一貫して高く、安定したパフォーマンスを示した。
• マルチタスク深層ニューラルネットワークが、最高の外部研究間一般化性能を示し、共有表現学習が転送性能を向上させることを実証した。
• 薬剤多様性が腫瘍多様性よりもモデル一般化可能性においてより重要であることが判明した。薬剤データが欠落した場合、モデルのパフォーマンスが細胞線量データ欠落時よりも著しく低下した。
• 生存率アッセイの違い（例：スルフォルホルホイドラミンB対CellTiterGlo）は、研究間でのモデル転送性を制限する主要因である実験的ばらつきの要因であった。