[论文解读] Benchmarking large language models for biomedical natural language processing applications and recommendations

Qingyu Chen, Yan Hu+19 more|arXiv (Cornell University)|May 10, 2023

Topic Modeling被引用 41

一句话总结

本研究系统评估四个大型语言模型在12个BioNLP基准上的表现，比较零-shot、少-shot与微调，与传统的BERT/BART微调相比，并给出建议。

ABSTRACT

The rapid growth of biomedical literature poses challenges for manual knowledge curation and synthesis. Biomedical Natural Language Processing (BioNLP) automates the process. While Large Language Models (LLMs) have shown promise in general domains, their effectiveness in BioNLP tasks remains unclear due to limited benchmarks and practical guidelines. We perform a systematic evaluation of four LLMs, GPT and LLaMA representatives on 12 BioNLP benchmarks across six applications. We compare their zero-shot, few-shot, and fine-tuning performance with traditional fine-tuning of BERT or BART models. We examine inconsistencies, missing information, hallucinations, and perform cost analysis. Here we show that traditional fine-tuning outperforms zero or few shot LLMs in most tasks. However, closed-source LLMs like GPT-4 excel in reasoning-related tasks such as medical question answering. Open source LLMs still require fine-tuning to close performance gaps. We find issues like missing information and hallucinations in LLM outputs. These results offer practical insights for applying LLMs in BioNLP.

研究动机与目标

• 评估 LLM 在 BioNLP 任务中相较于传统模型的表现。
• 评估 LLM 在生物医学环境中的零-shot、少-shot和微调能力。
• 识别 LLM 输出中的不一致、信息缺失和幻觉。
• 评估在 BioNLP 应用中使用 LLM 的成本影响。
• 提供在 BioNLP 中应用 LLM 的实际建议。

提出的方法

• 系统性地在12个 BioNLP 基准上评估四个 LLM（GPT 和 LLaMA 的代表）在六个应用中的表现。
• 将 LLM 的零-shot、少-shot和微调性能与传统的 BERT 或 BART 模型微调进行比较。
• 分析输出质量以发现不一致、信息缺失和幻觉。
• 进行 BioNLP 任务中使用 LLM 的成本分析。

实验结果

研究问题

• RQ1 LLMs 在零-shot、少-shot和微调设置下相对于传统 BERT/BART 微调，在 BioNLP 基准上表现如何？
• RQ2 闭源 LLM（如 GPT-4）在需要推理的 BioNLP 任务（如医学问答）中是否更具优势？
• RQ3 开源 LLM 需要在多大程度上进行微调以缩小与传统模型的性能差距？
• RQ4 在 BioNLP 任务中，LLM 输出常见的问题（信息缺失、幻觉）有哪些？
• RQ5 来自本基准研究的可实践指南可以如何应用于 BioNLP 的 LLM 使用？

主要发现

• 传统微调在大多数 BioNLP 任务中普遍优于零-shot 或少-shot 的 LLM。
• 像 GPT-4 这样的闭源 LLM 在需要推理的任务（如医学问答）中表现出色。
• 开源 LLM 仍然需要微调以缩小与传统模型的性能差距。
• LLM 输出存在信息缺失和幻觉，影响在 BioNLP 中的可靠性。
• 本研究为在 BioNLP 中应用 LLM 提供了实用的见解和建议。