[論文レビュー] Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response

Yitan Zhu, Thomas Brettin+7 more|arXiv (Cornell University)|May 13, 2020

Computational Drug Discovery Methods参考文献 37被引用数 8

ひとこと要約

本稿では、新規腫瘍細胞線および新規薬剤への耐性反応を予測するために、LightGBMと2つの深層ニューラルネットワーク（DNN）を組み合わせたアンサンブル転移学習フレームワークを提案する。ソース薬剤スクリーニングデータセットからターゲットデータセットへ知識を転送することで、アンサンブル手法は、ドラッグ再利用、パーソナライズド・オンコロジー、新薬開発の分野において予測性能を顕著に向上させ、特に特化したDNNアーキテクチャが大多数の設定で優れた性能を示した。

ABSTRACT

Transfer learning has been shown to be effective in many applications in which training data for the target problem are limited but data for a related (source) problem are abundant. In this paper, we apply transfer learning to the prediction of anti-cancer drug response. Previous transfer learning studies for drug response prediction focused on building models that predict the response of tumor cells to a specific drug treatment. We target the more challenging task of building general prediction models that can make predictions for both new tumor cells and new drugs. We apply the classic transfer learning framework that trains a prediction model on the source dataset and refines it on the target dataset, and extends the framework through ensemble. The ensemble transfer learning pipeline is implemented using LightGBM and two deep neural network (DNN) models with different architectures. Uniquely, we investigate its power for three application settings including drug repurposing, precision oncology, and new drug development, through different data partition schemes in cross-validation. We test the proposed ensemble transfer learning on benchmark in vitro drug screening datasets, taking one dataset as the source domain and another dataset as the target domain. The analysis results demonstrate the benefit of applying ensemble transfer learning for predicting anti-cancer drug response in all three applications with both LightGBM and DNN models. Compared between the different prediction models, a DNN model with two subnetworks for the inputs of tumor features and drug features separately outperforms LightGBM and the other DNN model that concatenates tumor features and drug features for input in the drug repurposing and precision oncology applications. In the more challenging application of new drug development, LightGBM performs better than the other two DNN models.

研究の動機と目的

• 新薬および新規腫瘍細胞線に対する抗がん薬反応を予測するためのトレーニングデータが限られているという課題に対処すること。
• 単一薬剤予測にとどまらない転移学習を、新薬および新規細胞線の両方に適用可能な汎用的モデルへと拡張すること。
• アンサンブル転移学習の有効性を、ドラッグ再利用、パーソナライズド・オンコロジー、新薬開発の3つの重要ながん研究分野において評価すること。
• 異なるモデル（LightGBMおよび2つのDNNアーキテクチャ）の性能を、転移学習下でのクロスドメイン予測設定において比較すること。

提案手法

• 古典的な転移学習パイプラインを適用：ソース薬剤スクリーニングデータセットで事前学習を行い、ターゲットデータセットで微調整する。
• 異なる入力アーキテクチャを持つLightGBMおよび2つの異なるDNNモデルの予測を統合するアンサンブル戦略を実装する。
• 腫瘍特徴量と薬剤特徴量のための別々のサブネットワークを備えたDNNを用い、階層的特徴学習を可能にする。
• 腫瘍および薬剤特徴量を1つの入力ベクトルに連結するDNNを別途用意し、比較のための基準とする。
• 実世界の応用状況を模倣するために、異なるデータ分割方式を用いた交差検証でモデルを学習する。
• 保持済みのテストセット上で、標準的な回帰指標（例：R²、RMSE）を用いてモデル性能を評価し、ソース・ターゲットドメインのズレに対応する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル転移学習は、新規腫瘍細胞線および新規薬剤への一般化において、抗がん薬反応の予測精度を向上させることができるか？
• RQ2 モデルアーキテクチャの選択（LightGBM 対 DNN（別々の入力 vs. 連結入力））が、さまざまながん研究分野における性能に与える影響は何か？
• RQ3 低データ環境下での薬剤反応予測において、アンサンブルによる転移学習は、標準的な教師あり学習を上回る性能を示すか？
• RQ4 ドラッグ再利用、パーソナライズド・オンコロジー、新薬開発のどの応用設定において、アンサンブル転移学習フレームワークが最大の利点を示すか？

主な発見

• アンサンブル転移学習フレームワークは、ドラッグ再利用、パーソナライズド・オンコロジー、新薬開発の3分野すべてにおいて、予測性能を顕著に向上させた。
• 腫瘍および薬剤特徴量のための別々のサブネットワークを備えたDNNは、ドラッグ再利用およびパーソナライズド・オンコロジーの設定で、LightGBMおよび連結入力DNNを上回った。これは、より優れた特徴の分離（disentanglement）を示している。
• より困難な新薬開発設定では、LightGBMが両方のDNNモデルを上回る優れた性能を示した。これは、低データ、高ばらつきの状況下でも頑健であることを示唆している。
• 1つのin vitro薬剤スクリーニングデータセットから別のデータセットへと転移する際、転移学習アプローチは、ベースラインモデルよりも一貫して予測精度を向上させた。これはドメイン一般化能力を示している。
• アンサンブル戦略は、多様なモデルの長所を効果的に統合し、多様なターゲットドメインにわたる予測の安定性を高め、分散を低減した。
• 結果は、特にモダリティ特化型サブネットワークの使用が、マルチモodalな生物学的データに対する転移学習の成功において、極めて重要な役割を果たすことを裏付けた。