[论文解读] Can large language models reason about medical questions?

Valentin Liévin, Christoffer Hother+2 more|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用 85

一句话总结

该论文在医疗问答基准上评估GPT-3.5家族和开源LLM，使用零-shot、少量样本与链式思维提示，结合与不检索增强，在某些提示/计算设置下，在USMLE、MedMCQA和PubMedQA上表现近乎及格。

ABSTRACT

Although large language models (LLMs) often produce impressive outputs, it remains unclear how they perform in real-world scenarios requiring strong reasoning skills and expert domain knowledge. We set out to investigate whether close- and open-source models (GPT-3.5, LLama-2, etc.) can be applied to answer and reason about difficult real-world-based questions. We focus on three popular medical benchmarks (MedQA-USMLE, MedMCQA, and PubMedQA) and multiple prompting scenarios: Chain-of-Thought (CoT, think step-by-step), few-shot and retrieval augmentation. Based on an expert annotation of the generated CoTs, we found that InstructGPT can often read, reason and recall expert knowledge. Last, by leveraging advances in prompt engineering (few-shot and ensemble methods), we demonstrated that GPT-3.5 not only yields calibrated predictive distributions, but also reaches the passing score on three datasets: MedQA-USMLE 60.2%, MedMCQA 62.7% and PubMedQA 78.2%. Open-source models are closing the gap: Llama-2 70B also passed the MedQA-USMLE with 62.5% accuracy.

研究动机与目标

• 评估GPT-3.5系列模型（InstructGPT，Codex）在医疗问答基准（USMLE，MedMCQA，PubMedQA）上的表现。
• 评估零-shot、少样本、直接提示与链式思维提示，以及检索增强对医疗推理的影响。
• 评估开源模型（Llama-2，Vicuna，Guanaco，Falcon等）在同一基准上的表现，并分析校准与偏差。

提出的方法

• 比较医疗问答数据集上的零-shot、直接、和零-shot CoT 提示。
• 在少量样本提示中加入或不加入CoT解释。
• 尝试使用BM25检索器和维基百科段落进行检索增强提示。
• 分析集成采样（自一致性）与推理时计算成本（Codex 5-shot CoT，k=100）对不确定性和校准的影响。
• 对生成的CoT进行专家标注，以评估推理、知识回忆和阅读理解。
• 在MedQA-USMLE和MedMCQA数据集上对开源模型（7B–70B）进行对比测评。

实验结果

研究问题

• RQ1 InstructGPT和Codex是否能够在零-shot和少样本提示下在MedQA-USMLE、MedMCQA和PubMedQA上达到通过分数？
• RQ2 链式思维提示是否提高医疗问答的准确性与解释性，相较于直接提示？
• RQ3 检索增强与集成采样是否能提升准确性与校准？
• RQ4 开源LLM与专有模型在这些医疗基准上的对比如何？
• RQ5 在医疗推理提示和CoT输出中会出现哪些偏差与失败模式？

主要发现

• GPT-3.5家族通过提示，在某些提示和计算条件下可在三个医疗数据集上达到通过分数。
• Codex 5-shot CoT配合集成采样（k=100）通过USMLE（60.2%）、MedMCQA（62.7%）和PubMedQA（78.2%）。
• 开源模型（如Llama-2 70B）在USMLE表现可接近甚至超过某些封闭模型（如5-shot CoT下达到62.5%），总体缩小差距。
• 零-shot直接提示在这些医疗基准上优于微调的BERT基线；零-shot CoT提示提供可解释的推理，但并不总是比直接提示具有更高准确性。
• 检索增强带来增量收益；集成/自一致性采样提升可靠性和校准。
• 人工专家评估表明InstructGPT在许多CoTs中能读取、推理并回忆专家知识，尽管错误与偏差仍然存在。