[논문 리뷰] A cross-study analysis of drug response prediction in cancer cell lines

Fangfang Xia, Jonathan Allen외 22명|arXiv (Cornell University)|2021. 04. 18.

Computational Drug Discovery Methods참고 문헌 59인용 수 9

한 줄 요약

이 연구는 단일 연구 내 교차검증에 국한되지 않고, 다섯 가지 주요 데이터셋(NCI60, CTRP, GDSC, CCLE, gCSI)을 활용하여 암 세포주에서의 약물 반응 예측 성능을 기계학습을 통해 평가하여 모델의 일반화 능력을 평가한다. 다중작업 딥 뉴럴 네트워크가 가장 뛰어난 다중연구 성능를 보였으며, CTRP에서 학습된 모델이 더 뛰어난 일반화 능력을 보였고, 종양의 다양성보다는 약물의 다양성이 모델의 강건성에 더 중요한 요소로 드러났다.

ABSTRACT

To enable personalized cancer treatment, machine learning models have been developed to predict drug response as a function of tumor and drug features. However, most algorithm development efforts have relied on cross validation within a single study to assess model accuracy. While an essential first step, cross validation within a biological data set typically provides an overly optimistic estimate of the prediction performance on independent test sets. To provide a more rigorous assessment of model generalizability between different studies, we use machine learning to analyze five publicly available cell line-based data sets: NCI60, CTRP, GDSC, CCLE and gCSI. Based on observed experimental variability across studies, we explore estimates of prediction upper bounds. We report performance results of a variety of machine learning models, with a multitasking deep neural network achieving the best cross-study generalizability. By multiple measures, models trained on CTRP yield the most accurate predictions on the remaining testing data, and gCSI is the most predictable among the cell line data sets included in this study. With these experiments and further simulations on partial data, two lessons emerge: (1) differences in viability assays can limit model generalizability across studies, and (2) drug diversity, more than tumor diversity, is crucial for raising model generalizability in preclinical screening.

연구 동기 및 목표

• 단일 연구 내 교차검증에 의한 낙관적 추정치를 넘어서, 독립된 암 세포주 연구 간의 약물 반응 예측 모델의 일반화 능력을 평가하기 위해.
• 외부 연구에서 테스트했을 때 가장 강건한 예측 성능을 보이는 데이터셋과 모델 아키텍처를 특정하기 위해.
• 특히 생존율 측정 방식의 차이가 모델 이식 가능성에 미치는 영향을 조사하기 위해.
• 임상 전 실험에서 모델의 일반화 능력을 향상시키기 위해 종양의 다양성과 약물의 다양성 중 어느 것이 더 중요한지 규명하기 위해.
• 정밀 옹크로이놀로지에서 모델의 유용성을 극대화하기 위한 최적의 데이터 확보 전략을 도출하기 위해 향후 실험 설계를 안내하기 위해.

제안 방법

• NCI60, CTRP, GDSC, CCLE, gCSI 등 다섯 가지 공개 세포주 스크리닝 연구에서 약물 반응 데이터를 수집하고 통합하였다.
• 기존 기계학습 및 딥 뉴럴 네트워크 아키텍처를 포함한 다양한 기계학습 모델을 학습하였으며, 특히 다중작업 딥 뉴럴 네트워크를 중심으로 공유 표현을 활용하는 데 중점을 두었다.
• 모델 성능 평가를 위해 다중연구 이식 학습을 수행하였으며, 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트하여 일반화 능력을 측정하였다.
• 부분 데이터를 활용한 시뮬레이션을 통해 약물 또는 세포주 샘플의 누락이 모델 성능에 미치는 영향을 평가하였다.
• R² 및 기타 지표를 사용하여 각 데이터셋에서의 예측 정확도와 성능의 상한선을 정량화하였다.
• 생존율 측정 방식의 차이(예: 실포르로다민 B, CellTiterGlo, Syto60)가 모델 이식 가능성과 예측 신뢰도에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 단일 연구 내 교차검증을 통한 모델 성능 추정치는 독립된 외부 연구에서의 성능과 어떻게 비교되는가?
• RQ2 다양한 연구 간에서 가장 일반화 능력이 뛰어난 약물 반응 예측 모델을 제공하는 데이터셋은 무엇인가?
• RQ3 생존율 측정 방식의 차이가 연구 간 모델 일반화 능력에 얼마나 큰 제약을 가하는가?
• RQ4 임상 전 약물 스크리닝에서 모델의 일반화 능력을 향상시키기 위해 종양의 다양성과 약물의 다양성 중 어느 것이 더 중요한가?
• RQ5 다중작업 딥 뉴럴 네트워크 프레임워크에서 보조 작업을 포함할 경우 다중연구 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 한 연구 내에서의 교차검증은 모델 정확도를 크게 과대평가하며, 실제 다중연구 성능는 상당히 낮게 나타났다.
• CTRP 데이터에서 학습된 모델이 다른 모든 테스트 데이터셋에서 가장 높은 예측 정확도를 기록했으며, GDSC, CCLE, NCI60, gCSI에서 학습된 모델보다 뛰어났다.
• gCSI는 다섯 데이터셋 중에서 가장 예측 가능성이 높았으며, 다양한 평가 지표에서 가장 일관되고 높은 성능를 보였다.
• 다중작업 딥 뉴럴 네트워크가 가장 뛰어난 다중연구 일반화 능력을 보였으며, 공유 표현 학습이 이식 성능 향상에 기여함을 입증하였다.
• 모델의 일반화 능력 향상에 있어 약물의 다양성이 종양의 다양성보다 더 중요한 요소로 밝혀졌으며, 약물 데이터가 제거되었을 경우 성능 저하가 세포주 데이터 제거보다 뚜렷하게 발생했다.
• 생존율 측정 방식의 차이—예를 들어 실포르로다민 B와 CellTiterGlo 간의 차이—가 연구 간 모델 이식 가능성에 제한을 가하는 주요 실험적 변동 요인임을 규명하였다.