[논문 리뷰] Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response

Yitan Zhu, Thomas Brettin외 7명|arXiv (Cornell University)|2020. 05. 13.

Computational Drug Discovery Methods참고 문헌 37인용 수 8

한 줄 요약

이 논문은 새로운 종양 세포주와 새로운 약물에 대해 항암제 반응을 예측하기 위해 다수의 모델—LightGBM 및 두 개의 딥 네트워크(DNNs)—를 활용하는 앙상블 전이학습 프레임워크를 제안한다. 원천 약물 스크리닝 데이터셋에서 목표 데이터셋으로 지식을 전이함으로써, 앙상블 접근법은 약물 재포지셔닝, 정밀 옹종학, 신약 개발 분야에서 예측 성능을 크게 향상시킨다. 특히, 별도의 하위망을 갖춘 특수 DNN 아키텍처가 대부분의 설정에서 다른 모델들을 능가한다.

ABSTRACT

Transfer learning has been shown to be effective in many applications in which training data for the target problem are limited but data for a related (source) problem are abundant. In this paper, we apply transfer learning to the prediction of anti-cancer drug response. Previous transfer learning studies for drug response prediction focused on building models that predict the response of tumor cells to a specific drug treatment. We target the more challenging task of building general prediction models that can make predictions for both new tumor cells and new drugs. We apply the classic transfer learning framework that trains a prediction model on the source dataset and refines it on the target dataset, and extends the framework through ensemble. The ensemble transfer learning pipeline is implemented using LightGBM and two deep neural network (DNN) models with different architectures. Uniquely, we investigate its power for three application settings including drug repurposing, precision oncology, and new drug development, through different data partition schemes in cross-validation. We test the proposed ensemble transfer learning on benchmark in vitro drug screening datasets, taking one dataset as the source domain and another dataset as the target domain. The analysis results demonstrate the benefit of applying ensemble transfer learning for predicting anti-cancer drug response in all three applications with both LightGBM and DNN models. Compared between the different prediction models, a DNN model with two subnetworks for the inputs of tumor features and drug features separately outperforms LightGBM and the other DNN model that concatenates tumor features and drug features for input in the drug repurposing and precision oncology applications. In the more challenging application of new drug development, LightGBM performs better than the other two DNN models.

연구 동기 및 목표

• 새로운 약물과 새로운 종양 세포주에 대해 항암제 반응을 예측하기 위한 훈련 데이터가 제한된 문제를 해결하기 위해.
• 단일 약물 예측을 넘어서, 새로운 약물과 새로운 세포주에 적용 가능한 일반화 가능한 모델로 전이학습을 확장하기 위해.
• 약물 재포지셔닝, 정밀 옹종학, 신약 개발이라는 세 가지 핵심 옹종학 응용 분야에서 앙상블 전이학습의 효과성을 평가하기 위해.
• 다양한 모델—LightGBM 및 두 가지 다른 입력 아키텍처를 가진 DNN—의 성능을 전이학습 하에 교차 도메인 예측 설정에서 비교하기 위해.

제안 방법

• 기존의 전이학습 파이프라인을 적용: 원천 약물 스크리닝 데이터셋에서 모델을 사전 훈련하고, 목표 데이터셋에서 미세조정한다.
• 다양한 입력 아키텍처를 가진 LightGBM 및 두 개의 별도 DNN 모델의 예측을 조합하는 앙상블 전략을 구현한다.
• 종양 특징과 약물 특징에 대해 별도의 하위망을 갖춘 DNN을 사용하여 계층적 특징 학습을 가능하게 한다.
• 종양 및 약물 특징을 하나의 입력 벡터로 연결하는 두 번째 DNN을 사용하여 비교를 위해 활용한다.
• 실제 응용 환경을 시뮬레이션하기 위해 다양한 데이터 분할 방식을 사용한 교차검증을 통해 모델을 훈련한다.
• 원천-목표 도메인 이동 상황에서 보류된 테스트 세트에 대해 표준 회귀 평가 지표(R², RMSE 등)를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 새로운 종양 세포주와 새로운 약물로 일반화할 때, 앙상블 전이학습이 항암제 반응 예측 정확도를 향상시킬 수 있는가?
• RQ2 모델 아키텍처 선택(LightGBM 대비 별도 입력 또는 연결 입력을 가진 DNN)이 다양한 옹종학 응용 분야에서 성능에 미치는 영향은 어떠한가?
• RQ3 약물 반응 예측의 저데이터 환경에서, 앙성 전이학습이 표준 지도학습보다 우수한가?
• RQ4 약물 재포지셔닝, 정밀 옹종학, 또는 신약 개발 중 어느 응용 분야에서 앙성 전이학습 프레임워크가 가장 큰 이점을 보이는가?

주요 결과

• 앙성 전이학습 프레임워크는 약물 재포지셔닝, 정밀 옹종학, 신약 개발이라는 세 가지 응용 분야에서 모두 예측 성능을 크게 향상시켰다.
• 종양 및 약물 특징에 대해 별도의 하위망을 갖춘 DNN은 약물 재포지셔닝 및 정밀 옹종학에서 LightGBM과 연결 입력 DNN을 모두 능가했으며, 이는 더 나은 특징 분리 기능을 의미한다.
• 더 도전적인 신약 개발 설정에서는 LightGBM이 두 DNN 모델보다 뛰어난 성능을 보였으며, 이는 저데이터, 고변동성 환경에서의 강건성을 시사한다.
• 한 개의 in vitro 약물 스크리닝 데이터셋에서 다른 데이터셋으로 전이할 때, 전이학습 접근법이 기준 모델보다 항상 예측 정확도를 향상시켜 도메인 일반화 능력을 입증했다.
• 앙성 전략은 다양한 모델의 강점을 효과적으로 조합하여 다양한 목표 도메인에서 예측 안정성 향상과 분산 감소를 달성했다.
• 결과는 특히 모odal별 하위망의 사용을 포함한 아키텍처 설계가 다중 모달 생물학적 데이터에 대한 전이학습 성공에 결정적인 역할을 한다는 것을 입증한다.