[论文解读] Clinical Prompt Learning with Frozen Language Models

Niall Taylor, Yi Zhang+3 more|arXiv (Cornell University)|May 11, 2022

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本文研究了在临床决策任务中使用冻结的大规模语言模型进行提示学习，表明该方法在显著减少可训练参数数量和训练数据量的同时，性能可与传统微调相媲美甚至更优。该方法采用混合模板的软提示微调，提升了可解释性和效率，为临床环境中大规模模型的低资源替代方案提供了可行选择。

ABSTRACT

Prompt learning is a new paradigm in the Natural Language Processing (NLP) field which has shown impressive performance on a number of natural language tasks with common benchmarking text datasets in full, few-shot, and zero-shot train-evaluation setups. Recently, it has even been observed that large but frozen pre-trained language models (PLMs) with prompt learning outperform smaller but fine-tuned models. However, as with many recent NLP trends, the performance of even the largest PLMs such as GPT-3 do not perform well on specialized domains (e.g. medical text), and the common practice to achieve State of the Art (SoTA) results still consists of pre-training and fine-tuning the PLMs on downstream tasks. The reliance on fine-tuning large PLMs is problematic in clinical settings where data is often held in non-GPU environments, and more resource efficient methods of training specialized domain models is crucial. We investigated the viability of prompt learning on clinically meaningful decision tasks and directly compared with more traditional fine-tuning methods. Results are partially in line with the prompt learning literature, with prompt learning able to match or improve on traditional fine-tuning with substantially fewer trainable parameters and requiring less training data. We argue that prompt learning therefore provides lower computational resource costs applicable to clinical settings, that can serve as an alternative to fine-tuning ever increasing in size PLMs. Complementary code to reproduce experiments presented in this work can be found at: https://github.com/NtaylorOX/Public_Clinical_Prompt.

研究动机与目标

• 评估在临床决策任务中使用冻结预训练语言模型（PLM）进行提示学习的可行性。
• 从性能、参数效率和数据效率角度，将提示学习与传统微调进行比较。
• 评估提示学习是否可在低资源临床环境中作为计算效率更高的微调替代方案。
• 探索基于提示的方法在医学NLP中的可解释性和鲁棒性，特别是采用混合模板设计时的表现。
• 确定结合小规模、领域特定的PLM与提示学习，是否可在临床应用中超越大规模通用模型的表现。

提出的方法

• 本研究采用冻结的基于BERT的PLM，包括BioBERT，以避免对模型参数进行完整微调。
• 应用软提示微调，即在输入标记前插入可学习的嵌入向量，以引导模型预测。
• 使用混合模板，结合固定提示词与可训练的软提示，以在可解释性与优化灵活性之间取得平衡。
• 该框架在MIMIC-III数据集的四个临床任务上进行评估：ICD-9分类、住院时长预测、死亡率预测和临床笔记分类。
• 在少样本、零样本和全数据训练设置下，对比提示学习与传统微调的性能表现。
• 通过超参数搜索优化提示学习与微调，并通过消融研究评估模板设计与鲁棒性。

Figure 1 : Illustration of conventional fine-tuning method, with an option to freeze the PLM, shown in dotted line. Here [CLS] and [SEP] tokens are special tokens for BERT-based models that are added to the beginning and end of sequences.

实验结果

研究问题

• RQ1 使用冻结PLM的提示学习是否能在临床NLP任务中实现与传统微调相当的性能？
• RQ2 在临床环境中，提示学习是否相比微调显著减少了可训练参数数量和数据需求？
• RQ3 混合模板的使用如何影响临床决策任务中的模型性能与可解释性？
• RQ4 在低资源临床场景中，提示学习是否比传统微调对超参数变化更具鲁棒性？
• RQ5 小规模、领域特定的PLM结合提示学习是否可在临床应用中超越大规模通用PLM的表现？

主要发现

• 在所有四个临床任务中，使用冻结PLM的提示学习在可训练参数显著减少的情况下，性能与传统微调相当或更优。
• 该方法显著减少了训练数据和计算资源的需求，使其适用于低资源临床环境。
• 混合模板在保持人类可读提示结构的同时，实现了与完全软提示相当的性能，从而兼顾了可解释性。
• 提示学习框架在超参数变化方面表现出比微调更强的鲁棒性，尤其在少样本设置中表现更优。
• 即使使用生物医学专用的BERT模型（BioBERT），提示学习仍保持了相对于微调的一致性能优势，表明领域适应具有实际益处。
• 尽管结果表现强劲，但在住院时长和死亡率预测任务中，两种框架的性能仍相对较低，表明这些任务存在特定挑战。

Figure 2 : Illustration of manual template and verbalizer in prompt learning.