[论文解读] Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers

Israt Jahan, Md Tahmid Rahman Laskar+2 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用 4

一句话总结

本研究评估了ChatGPT在生物医学NLP任务中的零样本性能——包括关系抽取、问答、文档分类和摘要生成——并与微调模型如BioGPT和BioBART进行比较。令人惊讶的是，ChatGPT在训练集较小的数据集上表现优于这些专用模型，展示了在无微调的低资源生物医学设置中具备强大的 few-shot 泛化能力。

ABSTRACT

ChatGPT is a large language model developed by OpenAI. Despite its impressive performance across various tasks, no prior work has investigated its capability in the biomedical domain yet. To this end, this paper aims to evaluate the performance of ChatGPT on various benchmark biomedical tasks, such as relation extraction, document classification, question answering, and summarization. To the best of our knowledge, this is the first work that conducts an extensive evaluation of ChatGPT in the biomedical domain. Interestingly, we find based on our evaluation that in biomedical datasets that have smaller training sets, zero-shot ChatGPT even outperforms the state-of-the-art fine-tuned generative transformer models, such as BioGPT and BioBART. This suggests that ChatGPT's pre-training on large text corpora makes it quite specialized even in the biomedical domain. Our findings demonstrate that ChatGPT has the potential to be a valuable tool for various tasks in the biomedical domain that lack large annotated data.

研究动机与目标

• 评估ChatGPT在无需微调的情况下，在基准生物医学NLP任务中的零样本性能。
• 将ChatGPT的性能与最先进的微调生成模型（如BioGPT和BioBART）进行比较。
• 探究在广泛语料库上预训练的大语言模型是否能在低资源生物医学环境中实现有效泛化。
• 评估零样本大语言模型在标注生物医学数据稀缺时作为可行替代方案的潜力。
• 通过发布所有ChatGPT生成的响应和评估代码，确保研究可复现性。

提出的方法

• 使用提示工程进行零样本推理，引导ChatGPT完成四项生物医学任务：关系抽取、问答、文档分类和摘要生成。
• 为每项任务精心设计提示，包括指令模板和适用的 few-shot 示例。
• 在标准基准数据集上进行评估：BC5CDR、KD-DTI、DDI、HoC、PubMedQA、iCliniq、HealthCare Magic、MeQSum、MEDIQA-QS、MEDIQA-MAS、MEDIQA-ANS。
• 使用标准指标（如F1值、准确率和摘要任务的ROUGE）衡量性能。
• 将微调模型（BioGPT、BioBART）作为基线，在相同评估条件下进行直接比较。
• 发布所有响应和评估代码，以确保可复现性并促进未来研究。

实验结果

研究问题

• RQ1 ChatGPT是否能在无需任何微调的零样本设置下有效执行生物医学NLP任务？
• RQ2 ChatGPT的零样本性能与最先进的微调生成模型（如BioGPT和BioBART）相比如何？
• RQ3 ChatGPT的性能在不同生物医学任务和数据集规模下是否存在显著差异？
• RQ4 在训练集较小的低资源环境中，零样本大语言模型是否能超越微调模型？
• RQ5 预训练大语言模型（如ChatGPT）在标注数据有限的生物医学应用中具有多大潜力？

主要发现

• 在训练样本较少的生物医学数据集上，ChatGPT的性能优于BioGPT和BioBART等微调模型。
• 在BC5CDR数据集（500个训练样本）上，ChatGPT在化学-疾病关系抽取任务中表现优于微调模型。
• 在HoC文档分类任务中，尽管未进行任务特定的微调，ChatGPT仍展现出强大的零样本准确率。
• 在PubMedQA问答基准上，ChatGPT生成了高质量且事实一致的答案。
• 在对话摘要任务（iCliniq和HealthCare Magic）中，ChatGPT生成了连贯且信息丰富的摘要，ROUGE得分具有竞争力。
• 结果表明，ChatGPT在多样化文本语料库上的广泛预训练，使其即使在专业生物医学语境下也能实现强大的领域内泛化能力。