[论文解读] Language Models are Few-shot Learners for Prognostic Prediction

Zekai Chen, Mariann Micsinai Balan+1 more|arXiv (Cornell University)|Feb 24, 2023

Radiomics and Machine Learning in Medical Imaging被引用 9

一句话总结

论文证明大型语言模型可以通过微调或提示来预测免疫疗法预后，来自临床和分子表格数据，在少量样本设定下，在多种癌种中相对于传统机器学习基线具有更优或有竞争力的准确性。

ABSTRACT

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients' clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases.

研究动机与目标

• 激发癌症免疫治疗中的预后预测，并通过探索基于变换器和语言模型的方法来应对数据稀缺。
• 评估在真实世界MSK-IMPACT数据上，变换器是否能优于传统ML提高预后预测。
• 评估不同预训练语言模型及知识来源在少样本条件下对下游临床预测的影响。

提出的方法

• 将临床表格特征序列化为可被LLMs处理的自然语言token序列。
• 采用端到端微调方法：冻结的LLM通过可训练编码器增强，并使用将多个终点结合在一起的多任务损失Lf。
• 使用在不同语料库上预训练的领域特定和领域无关的LLMs，以评估少样本条件下的知识迁移。
• 采用ClinTaT，一种增强的TabTransformer模型，包含连续特征的连续嵌入层，并在Transformer处理前连接嵌入。
• 使用AdamW和带余弦退火的学习率预热训练；在OS、PFS和BOR之间使用多任务损失，且为不同任务使用特定损失（BOR为CrossEntropy，OS/PFS为CoxPH）。
• 通过治疗反应的AUC和跨癌种的OS/PFS的C-index来评估鲁棒性和泛化。

实验结果

研究问题

• RQ1 在有限带标签数据下，基于变换器的模型在临床预后预测方面能在多大程度上超越传统机器学习？
• RQ2 不同的预训练语言模型，尤其是领域特定与领域无关的，在少样本设定下如何影响预后预测？
• RQ3 LLM为基础的方法是否能在免疫治疗前对不同癌种的OS/PFS做出准确预测？
• RQ4 针对具有异质临床结局的癌症预后预测，多端点联合学习目标是否有益？

主要发现

• 在使用全部样本时，ClinTaT在治疗反应预测上的AUC优于逻辑回归、随机森林和XGBoost，且在大多数设置下通常优于传统基线。
• 变换在跨癌种层面可显著提升OS和PFS的C-index（ClinTaT 0.724 对比 XGBoost 0.688；p<0.05）。
• 在少样本设置下，领域特定的预训练模型（尤其是PubMedBERT）提供最大的增益，在极小样本（4-shot）下治疗反应预测的绝对改进可达9.4%。
• 在LLM嵌入之上再添加一个Transformer编码器，性能始终优于仅有一个线性微调层。
• 自头开始预训练的PubMedBERT在跨k-shot设置中往往带来最佳平均改进，在多种配置中优于其他编码器。
• 在极少样本情形，基于LLM的微调显示显著增益（如4-shot时9.4%），表明知识有效迁移到临床任务。