[论文解读] Large Language Models are Few-Shot Clinical Information Extractors

Monica Agrawal, Stefan Hegselmann+3 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 48

一句话总结

论文表明，GPT-3 风格的大型语言模型可以在多样化的结构化输出任务中，通过引导式提示与轻量级解析器，进行零-shot 与少-shot 的临床信息提取，并展示通过弱监督训练较小模型的可能性。

ABSTRACT

A long-running goal of the clinical NLP community is the extraction of important variables trapped in clinical notes. However, roadblocks have included dataset shift from the general domain and a lack of public clinical corpora and annotations. In this work, we show that large language models, such as InstructGPT, perform well at zero- and few-shot information extraction from clinical text despite not being trained specifically for the clinical domain. Whereas text classification and generation performance have already been studied extensively in such models, here we additionally demonstrate how to leverage them to tackle a diverse set of NLP tasks which require more structured outputs, including span identification, token-level sequence classification, and relation extraction. Further, due to the dearth of available data to evaluate these systems, we introduce new datasets for benchmarking few-shot clinical information extraction based on a manual re-annotation of the CASI dataset for new tasks. On the clinical extraction tasks we studied, the GPT-3 systems significantly outperform existing zero- and few-shot baselines.

研究动机与目标

• 证明大型语言模型（LLMs）在没有领域专门训练的情况下可以执行零-shot 与少-shot 的临床信息提取。
• 引入来自 CASI 的新的带注释数据集，用于少-shot 的临床 IE 任务。
• 展示引导提示与轻量级解析器如何实现结构化输出（片段识别、逐词分类、关系抽取）。
• 在多项临床 IE 任务中，将 GPT-3 风格系统与零-shot、少-shot 与监督基线进行对比评估。
• 说明如何通过 LLM 输出的弱监督来训练更小、可部署的模型。

提出的方法

• 设计带有一个样例的引导提示模板，将 LLM 输出引导到结构化格式。
• 定义一个解析器 R，将 LLM 的字符串输出映射到任务特定的结构化标签空间（如列表、片段、关系）。
• 通过重新标注 CASI 片段来新增五项临床 IE 任务的资料集（sense、evidence extraction、coreference、medication status、medication attributes）。
• 在零-shot 与少-shot 基线基础上对 GPT-3 类系统进行基准测试，并与通过弱监督训练的蒸馏模型进行对比。
• 比较在各任务上基于 token-level、phrase-level 和 end-to-end 的关系抽取形式。

实验结果

研究问题

• RQ1 GPT-3 风格的 LLM 在零-shot 或少-shot 提示下，是否能在多样化的临床 IE 任务上达到具有竞争力的性能？
• RQ2 引导式提示和解析器是否能减少后处理并改善临床 IE 的结构化输出？
• RQ3 从 LLM 输出获得的弱监督在训练更小、可部署的临床 IE 模型方面有多大作用？
• RQ4 基于 LLM 的方法在临床意义消歧、证据提取、指代和药物提取方面有哪些优势与局限？

主要发现

• GPT-3 + R（带引导提示）在 CASI 和 MIMIC 反向替代任务的临床意义消歧方面，优于零-shot 基线。
• 带有 PubMedBERT 的弱监督进一步提升了 CASI 的表现，并使对 MIMIC 数据的迁移具有竞争力。
• 在生物医学证据提取方面，GPT-3 + R 在评估设置中呈现比若干监督基线更高的 token-level F1 和 arm-identification 准确度。
• 使用 GPT-3 + R（1-shot）的指代解析在记忆长文档的非临床基线上达到具有竞品力的召回率/精确度，且在某些配置下优于它们。
• 药物提取任务表明，1-shot 的 GPT-3 + R 在 token、phrase 和 relation 提取框架下的召回率与精确度均高于 ScispaCy 基线。
• 在各任务中，引导提示降低了解析器的复杂度（通常少于 10 行代码），并改善结构化输出。