[논문 리뷰] Language Models are Few-shot Learners for Prognostic Prediction

Zekai Chen, Mariann Micsinai Balan외 1명|arXiv (Cornell University)|2023. 02. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 9

한 줄 요약

이 논문은 대형언어모델을 미세조정하거나 프롬프트를 통해 임상 및 분자 표 형식 데이터로 면역요법 예후를 예측하도록 할 수 있으며, 여러 암종에 걸친 소수-shot 설정에서 전통 ML 베이스라인과 비교해 우수하거나 경쟁력 있는 정확도를 달성한다.

ABSTRACT

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients' clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases.

연구 동기 및 목표

• 암 면역치료에서 예후 예측의 필요성을 제시하고, 데이터 부족 문제를 다루기 위해 트랜스포머 기반 및 언어 모델 접근법을 탐구하여 데이터 부족 문제를 다룬다.
• 실세계 MSK-IMPACT 데이터에서 트랜스포머가 기존 ML에 비해 예후 예측을 향상시키는지 평가한다.
• 다양한 사전학습 언어 모델과 지식 원천이 소수-shot 조건에서 임상 예측에 미치는 영향을 평가한다.

제안 방법

• 임상 탭러 특성들을 LLM이 소비할 수 있는 자연어 토큰 시퀀스로 직렬화한다.
• 고정된 LLM에 학습 가능한 인코더를 추가하고 여러 엔드포인트를 결합하는 다중 작업 손실 Lf를 사용하는 엔드투엔드 튜닝 접근법을 활용한다.
• 다양한 말뭉치에서 사전 학습된 도메인 특화 및 도메인 비특화 LLM을 사용하여 소수-shot 조건에서 지식 전이를 평가한다.
• 연속 특징에 대한 연속 임베딩 계층을 도입하고 변환기 처리 전에 임베딩을 연결하는 향상된 TabTransformer 기반 모델 ClinTaT을 채택한다.
• AdamW와 코사인 증가를 통한 학습률 워밍업으로 학습한다; OS, PFS, BOR에 걸친 다중 작업 손실을 사용하고, 작업별 손실은 BOR에 대해 CrossEntropy, OS/PFS에 대해 CoxPH를 사용한다.
• 암 유형에 걸친 치료 반응에 대한 AUC와 OS/PFS에 대한 C-index를 통해 강건성과 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 제한된 라벨 데이터로도 기존 머신러닝보다 임상 예후 예측을 개선할 수 있는 정도는 어느 정도인가?
• RQ2 특히 도메인 특화 대 도메인 일반적 모델 중 어떤 사전학습 언어 모델이 소수-shot 설정에서 예후 예측에 영향을 미치는가?
• RQ3 LLM 기반 접근법이 암 유형 전반에 걸쳐 면역요법 도입 전 OS/PFS 예측을 정확하게 생성할 수 있는가?
• RQ4 다중 엔드포인트, 공동 학습 목표가 이질적 임상 결과를 가진 암 예후 예측에 유익한가?

주요 결과

• ClinTaT는 모든 샘플을 사용할 때 치료 반응 예측에 대해 로지스틱 회귀, 랜덤 포레스트, XGBoost보다 우수한 AUC를 달성하며(일반적으로 대부분의 설정에서 전통적 베이스라인보다 우수), 대체로 우수한 성능을 보인다.
• 트랜스포머는 팬-암 수준 OS와 PFS에서 C-index를 크게 향상시킬 수 있으며(ClinTaT C-index 0.724 vs XGBoost 0.688; p<0.05).
• 소수-shot 설정에서 도메인 특화 사전학습 모델(특히 PubMedBERT)이 가장 큰 이득을 제공하며, 4-shot과 같은 매우 작은 샘플에서 치료 반응 예측이 최대 9.4%의 절대 향상을 보인다.
• LLM 임베딩 위에 또 다른 트랜스포머 인코더를 두는 것이 단일 선형 미세조정 계층보다 일관되게 성능을 향상시킨다.
• PubMedBERT는 처음부터 사전학습된 모델로 k-shot 설정에서 평균 개선이 가장 잘 나타나며, 여러 구성을 통해 타 인코더를 능가한다.
• 매우 소수-shot 규칙에서 LLM 기반 미세조정은 상당한 이득을 보여주며(예: 4-shot에서 9.4%), 임상 작업에 대한 지식 전이가 효과적임을 시사한다.