[论文解读] Evaluation of ChatGPT Family of Models for Biomedical Reasoning and Classification

Shan Chen, Yingya Li+5 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling参考文献 27被引用 19

一句话总结

该研究在生物医学分类与推理任务上评估 ChatGPT 模型（GPT-3.5、GPT-4），使用超过 10,000 个代理样本，发现微调和传统模型常常优于仅通过提示最强的大型语言模型。BoW 与逻辑回归的性能与最复杂的 LLM 提示策略相当，且提示工程需要大量投入。

ABSTRACT

Recent advances in large language models (LLMs) have shown impressive ability in biomedical question-answering, but have not been adequately investigated for more specific biomedical applications. This study investigates the performance of LLMs such as the ChatGPT family of models (GPT-3.5s, GPT-4) in biomedical tasks beyond question-answering. Because no patient data can be passed to the OpenAI API public interface, we evaluated model performance with over 10000 samples as proxies for two fundamental tasks in the clinical domain - classification and reasoning. The first task is classifying whether statements of clinical and policy recommendations in scientific literature constitute health advice. The second task is causal relation detection from the biomedical literature. We compared LLMs with simpler models, such as bag-of-words (BoW) with logistic regression, and fine-tuned BioBERT models. Despite the excitement around viral ChatGPT, we found that fine-tuning for two fundamental NLP tasks remained the best strategy. The simple BoW model performed on par with the most complex LLM prompting. Prompt engineering required significant investment.

研究动机与目标

• 评估 ChatGPT 家族在超越问答的生物医学推理能力。
• 在由于数据隐私限制而使用代理样本的情况下，评估两个基本的临床 NLP 任务。
• 比较 LLM 提示与传统模型及微调基线在生物医学任务中的表现。
• 为在生物医学文本任务中部署 LLM 提供最佳实践指南。

提出的方法

• 使用超过 10,000 个样本作为代理用于临床分类和因果关系任务。
• 两个任务：(1) 判断文献中的陈述是否构成健康建议；(2) 检测生物医学文献中的因果关系。
• 将 ChatGPT 的变体（GPT-3.5s、GPT-4）与基线模型（BoW 与逻辑回归、微调的 BioBERT）进行比较。
• 避免将患者数据传给公开 OpenAI API；评估依赖代理数据。
• 评估提示工程对 LLM 性能的影响。

实验结果

研究问题

• RQ1 ChatGPT 模型是否能够在科学文献中准确地将陈述分类为健康建议？
• RQ2 ChatGPT 模型是否能够检测生物医学文献中的因果关系？
• RQ3 ChatGPT 模型在这些任务上与 BoW 逻辑回归和微调的 BioBERT 相比有何差异？
• RQ4 提示工程与传统模型微调所需的相对努力程度如何？

主要发现

• 微调在这两项 NLP 任务中仍然是比较方法中的最佳策略。
• BoW 与逻辑回归在性能上与最复杂的 LLM 提示策略相当。
• 要达到具竞争力的性能，提示工程需要大量投入。
• 在没有针对具体任务进行微调的情况下，ChatGPT 模型通常不如微调的 BioBERT 基线。
• 总体而言，经典 NLP 方法在这些生物医学任务上可以与基于提示的 LLM 表现相媲美甚至超越。