[论文解读] Conversational Medical AI: Ready for Practice

Antoine Lizée, Pierre-Auguste Beaucoté+4 more|arXiv (Cornell University)|Nov 19, 2024

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本研究评估了Mo，一种在法国Alan医疗咨询聊天服务中集成的、由医生监督的基于大语言模型（LLM）的对话式人工智能代理。在包含926例病例的随机对照试验中，患者报告称，与标准人工咨询相比，AI辅助护理的清晰度（3.73/4 vs. 3.62，p < 0.05）和满意度（4.58/5 vs. 4.42，p < 0.05）显著提高，同时安全性得到保障，95%的对话被医生评为‘良好’或‘优秀’。

ABSTRACT

The shortage of doctors is creating a critical squeeze in access to medical expertise. While conversational Artificial Intelligence (AI) holds promise in addressing this problem, its safe deployment in patient-facing roles remains largely unexplored in real-world medical settings. We present the first large-scale evaluation of a physician-supervised LLM-based conversational agent in a real-world medical setting. Our agent, Mo, was integrated into an existing medical advice chat service. Over a three-week period, we conducted a randomized controlled experiment with 926 cases to evaluate patient experience and satisfaction. Among these, Mo handled 298 complete patient interactions, for which we report physician-assessed measures of safety and medical accuracy. Patients reported higher clarity of information (3.73 vs 3.62 out of 4, p &lt; 0.05) and overall satisfaction (4.58 vs 4.42 out of 5, p &lt; 0.05) with AI-assisted conversations compared to standard care, while showing equivalent levels of trust and perceived empathy. The high opt-in rate (81% among respondents) exceeded previous benchmarks for AI acceptance in healthcare. Physician oversight ensured safety, with 95% of conversations rated as "good" or "excellent" by general practitioners experienced in operating a medical advice chat service. Our findings demonstrate that carefully implemented AI medical assistants can enhance patient experience while maintaining safety standards through physician supervision. This work provides empirical evidence for the feasibility of AI deployment in healthcare communication and insights into the requirements for successful integration into existing healthcare services.

研究动机与目标

• 通过部署对话式AI提升医疗专业知识的可及性，以应对全球初级保健医生短缺问题，特别是在医疗资源匮乏的农村地区。
• 评估一种真实世界中由医生监督的基于大语言模型的对话式AI代理在实际医疗咨询服务中的安全性、准确性和患者体验。
• 评估AI辅助与纯人工医疗咨询在患者满意度、信任度、感知同理心和参与度方面的差异。
• 建立一个伦理、安全且高效的对话式AI与现有医疗工作流程整合的框架，辅以临床监督。
• 提供实证证据，证明AI在面向患者的医疗沟通中的可行性，为未来医疗服务体系的构建提供依据。

提出的方法

• 将经过微调的大语言模型驱动的对话代理Mo部署于法国Alan现有的由医生值守的医疗咨询聊天服务中。
• 在三周内开展随机对照试验，将926名患者随机分配至AI辅助（Mo）或标准纯人工咨询组。
• 通过咨询后调查收集患者自报结果，评估信息清晰度、满意度、信任度和感知同理心。
• 实施医生监督：298次完整的AI辅助对话由经验丰富的全科医生进行临床审查，以评估安全性和准确性。
• 通过模拟患者互动的自动化测试，评估诊断推理能力和知识记忆表现。
• 采用综合评估框架，结合临床评估、真实对话分析和自动化测试。

实验结果

研究问题

• RQ1 与标准纯人工咨询相比，AI辅助医疗咨询是否能显著提升患者对信息清晰度和整体满意度的感知？
• RQ2 AI辅助与纯人工医疗咨询在患者信任度和感知同理心方面有何差异？
• RQ3 在真实医疗互动中，由医生监督的基于大语言模型的对话式AI代理的安全性表现如何？
• RQ4 在真实医疗环境中，患者对AI辅助医疗咨询的参与度和采纳率如何？
• RQ5 对话式AI的整合如何影响初级 care 医疗建议提供质量与效率？

主要发现

• 与标准护理相比，AI辅助对话中患者报告的信息清晰度显著更高（4分制中得分为3.73 vs. 3.62），p值 < 0.05。
• AI辅助互动的整体患者满意度更高（5分制中得分为4.58 vs. 4.42），p值 < 0.05。
• 在AI辅助与纯人工咨询之间，患者对信息的信任度和感知同理心无统计学差异。
• AI辅助咨询的采纳率达到81%，高于以往医疗领域AI接受度的基准水平。
• 在298次医生审查的对话中，95%被评定为‘良好’或‘优秀’，在安全性和医疗准确性方面，无任何对话被判定为潜在危险。
• 患者与Mo的互动更积极，表现为响应时间更短，表明对话流程更顺畅且患者参与度更高。