[论文解读] Identifying and Extracting Rare Disease Phenotypes with Large Language Models

Cathy Shyr, Yan Hu+2 more|arXiv (Cornell University)|Jun 22, 2023

Genomics and Rare Diseases参考文献 35被引用 5

一句话总结

本研究评估了使用ChatGPT进行零样本和少样本提示学习，从非结构化临床文本中提取罕见疾病表型的表现，与微调后的BioClinicalBERT进行比较。尽管整体性能较低（F1值为0.472–0.591，对比0.689），但在单样本设置下，ChatGPT在罕见疾病和体征上的表现优于微调模型（F1值分别为0.776和0.725），表明其在极低资源表型识别中具有潜力，且仅需极少标注数据。

ABSTRACT

Rare diseases (RDs) are collectively common and affect 300 million people worldwide. Accurate phenotyping is critical for informing diagnosis and treatment, but RD phenotypes are often embedded in unstructured text and time-consuming to extract manually. While natural language processing (NLP) models can perform named entity recognition (NER) to automate extraction, a major bottleneck is the development of a large, annotated corpus for model training. Recently, prompt learning emerged as an NLP paradigm that can lead to more generalizable results without any (zero-shot) or few labeled samples (few-shot). Despite growing interest in ChatGPT, a revolutionary large language model capable of following complex human prompts and generating high-quality responses, none have studied its NER performance for RDs in the zero- and few-shot settings. To this end, we engineered novel prompts aimed at extracting RD phenotypes and, to the best of our knowledge, are the first the establish a benchmark for evaluating ChatGPT's performance in these settings. We compared its performance to the traditional fine-tuning approach and conducted an in-depth error analysis. Overall, fine-tuning BioClinicalBERT resulted in higher performance (F1 of 0.689) than ChatGPT (F1 of 0.472 and 0.591 in the zero- and few-shot settings, respectively). Despite this, ChatGPT achieved similar or higher accuracy for certain entities (i.e., rare diseases and signs) in the one-shot setting (F1 of 0.776 and 0.725). This suggests that with appropriate prompt engineering, ChatGPT has the potential to match or outperform fine-tuned language models for certain entity types with just one labeled sample. While the proliferation of large language models may provide opportunities for supporting RD diagnosis and treatment, researchers and clinicians should critically evaluate model outputs and be well-informed of their limitations.

研究动机与目标

• 评估大型语言模型（特别是ChatGPT）在零样本和少样本设置下进行罕见疾病表型提取的性能。
• 将ChatGPT的命名实体识别（NER）性能与微调后的BioClinicalBERT在罕见疾病表型上的表现进行基准对比。
• 探究有效的提示工程是否能够使ChatGPT在仅使用极少标注样本的情况下，对特定实体类型的表现达到或超过微调模型。
• 为在罕见疾病表型识别中使用生成式大模型作为预标注工具提供基础，以减轻人工校对负担。

提出的方法

• 通过自定义提示将命名实体识别（NER）重新定义为文本生成任务，以提取四种实体类型：罕见疾病、疾病、体征和症状。
• 设计基于句子的提示用于零样本和少样本推理，避免使用复杂列表格式，以降低计算成本并提升性能。
• 使用精确匹配和部分匹配标准，在RareDis语料库的一个子集（832篇文本）上评估ChatGPT的性能。
• 将结果与微调后的BioClinicalBERT模型进行对比，后者在同一测试集上取得了0.689的F1分数。
• 进行深入的错误分析，识别失败模式，包括边界错误以及由于描述模糊或嵌套导致的虚假或遗漏实体。
• 使用标准NLP评估指标（精确率、召回率、F1）并按实体类型和错误类型（边界错误、虚假实体、遗漏实体）进行错误分类。

实验结果

研究问题

• RQ1 在不进行微调的情况下，ChatGPT是否能在零样本和少样本设置下实现与罕见疾病表型提取相关的有竞争力性能？
• RQ2 提示工程是否显著影响生成式大模型在生物医学NER任务中的性能？
• RQ3 在低资源环境下，ChatGPT在哪些实体类型（如罕见疾病、体征、症状）上优于微调模型？
• RQ4 大模型基于表型提取的主要错误模式是什么？这些错误与临床文本复杂性之间有何关联？

主要发现

• 微调后的BioClinicalBERT在整体F1分数上表现最高（0.689），优于零样本和少样本的ChatGPT设置。
• 在单样本设置下，ChatGPT在罕见疾病上的F1分数达到0.776，在体征上的F1分数达到0.725，超过了微调后的BioClinicalBERT在这些特定实体类型上的表现。
• ChatGPT在零样本设置下展现出强大的预标注潜力，罕见疾病F1分数为0.761，体征F1分数为0.627。
• 边界错误以及虚假或遗漏的实体是最常见的错误类型，尤其在体征和症状上，原因在于临床描述复杂或模糊。
• 基于句子的提示在性能上优于或等同于基于列表的提示，且降低了计算成本，表明其在该任务中更有效且高效。
• 尽管整体性能较低，但结果表明，通过适当的提示设计，生成式大模型（如ChatGPT）在极低资源场景下，对特定罕见疾病实体类型的表现可达到或超过微调模型。