[论文解读] Clinical knowledge in LLMs does not translate to human interactions

Andrew M. Bean, Rebecca Payne+9 more|ArXiv.org|Apr 26, 2025

Artificial Intelligence in Healthcare and Education被引用 3

一句话总结

LLMs 单独在医疗任务中表现良好，但与真实用户搭配时并未改进，且常低于传统方法；基准测试和仿真互动无法预测真实世界的失败。

ABSTRACT

Global healthcare providers are exploring use of large language models (LLMs) to provide medical advice to the public. LLMs now achieve nearly perfect scores on medical licensing exams, but this does not necessarily translate to accurate performance in real-world settings. We tested if LLMs can assist members of the public in identifying underlying conditions and choosing a course of action (disposition) in ten medical scenarios in a controlled study with 1,298 participants. Participants were randomly assigned to receive assistance from an LLM (GPT-4o, Llama 3, Command R+) or a source of their choice (control). Tested alone, LLMs complete the scenarios accurately, correctly identifying conditions in 94.9% of cases and disposition in 56.3% on average. However, participants using the same LLMs identified relevant conditions in less than 34.5% of cases and disposition in less than 44.2%, both no better than the control group. We identify user interactions as a challenge to the deployment of LLMs for medical advice. Standard benchmarks for medical knowledge and simulated patient interactions do not predict the failures we find with human participants. Moving forward, we recommend systematic human user testing to evaluate interactive capabilities prior to public deployments in healthcare.

研究动机与目标

• 评估 LLM 是否能帮助公众在现实场景中识别潜在医疗状况与处置倾向。
• 在一项大规模随机试验中比较三种 LLM（GPT-4o、Llama 3、Command R+）与对照条件。
• 分析人-LLM 互动如何影响诊断与处置的准确性。
• 评估标准医学基准与仿真互动是否能预测真实世界的表现。

提出的方法

• 1,298 名英国参与者随机分配至十种医疗情境的四组。
• 三组干预使用 LLM（GPT-4o、Llama 3、Command R+）协助识别疾病和处置倾向；对照组使用参与者日常方法。
• 情境由医生起草，并就处置达成一致，金标准病情清单由额外医生创建。
• 参与者在五分量表上给出处置，并列出相关病情；分析模型提示语及人机互动以识别传递失败。

实验结果

研究问题

• RQ1 公众成员在有 LLM 协助时，是否能准确识别相关医疗病情和处置决定？
• RQ2 与传统居家资源相比，LLMs 是否提高处置准确性或病情识别率？
• RQ3 标准医学知识基准是否能预测互动、真实世界情境中的表现？
• RQ4 仿真患者互动是否能反映人-LLM 表现并提供可扩展的基准？

主要发现

• LLMs 单独在病例中识别出相关病情的比例为 94.9%（GPT-4o）、99.2%（Llama 3）、90.8%（Command R+）；处置准确率分别为 64.7%、48.8%、55.5%。
• 任何使用 LLM 的参与者在病例中的相关病情识别率最多为 34.5%，处置率最多为 44.2%，不优于对照组。
• 用户与 LLM 的交互中存在传递失败：在65.7–73.2% 的对话中，LLM 提出相关病情，但用户经常未提供信息或未据此采取行动。
• 基准测试（MedQA）往往高估了互动表现；30 例中有 26 例模型在 QA 的准确度高于人-LLM 互动的准确度，且仿真参与者难以真实反映人类的变异性。