[论文解读] Healthcare Copilot: Eliciting the Power of General LLMs for Medical Consultation

Zhiyao Ren, Yibing Zhan+3 more|arXiv (Cornell University)|Feb 20, 2024

Medical Coding and Health Information被引用 6

一句话总结

Healthcare Copilot 通过协调 Dialogue、Memory、Processing 模块并使用 ChatGPT 的自动评估方案对其进行评估，在多种骨干模型上提升查询能力、流畅性、准确性和安全性。

ABSTRACT

The copilot framework, which aims to enhance and tailor large language models (LLMs) for specific complex tasks without requiring fine-tuning, is gaining increasing attention from the community. In this paper, we introduce the construction of a Healthcare Copilot designed for medical consultation. The proposed Healthcare Copilot comprises three main components: 1) the Dialogue component, responsible for effective and safe patient interactions; 2) the Memory component, storing both current conversation data and historical patient information; and 3) the Processing component, summarizing the entire dialogue and generating reports. To evaluate the proposed Healthcare Copilot, we implement an auto-evaluation scheme using ChatGPT for two roles: as a virtual patient engaging in dialogue with the copilot, and as an evaluator to assess the quality of the dialogue. Extensive results demonstrate that the proposed Healthcare Copilot significantly enhances the capabilities of general LLMs for medical consultations in terms of inquiry capability, conversational fluency, response accuracy, and safety. Furthermore, we conduct ablation studies to highlight the contribution of each individual module in the Healthcare Copilot. Code will be made publicly available on GitHub.

研究动机与目标

• 在不进行微调的情况下，激发使用通用大型语言模型进行医疗咨询。
• 设计一个 Copilot 框架，支持安全的多轮患者互动。
• 融合记忆能力以保留当前及历史的患者信息。
• 提供后处理报告，以总结给患者和临床医生的咨询内容。

提出的方法

• 引入三组件架构：Dialogue、Memory 与 Processing。
• 实现一个 Function 模块，用于将任务分类（诊断、解释、建议），并引导多轮询问。
• 增加 Safety 和 Doctor 模块，以确保伦理、安全和专业监督。
• Memory 包含 Conversation Memory 与 History Memory，以维持上下文并总结历史。
• Processing 模块提供咨询摘要和报告生成。

实验结果

研究问题

• RQ1 通用 LLM 为基础的 Copilot 在不进行微调的情况下，是否能够提升医疗咨询质量？
• RQ2 Dialogue、Memory、Processing 组件如何提升查询能力、流畅性、准确性和安全性？
• RQ3 模块化提示与医生监督对真实世界医疗对话有何影响？
• RQ4 通过 ChatGPT 的自动评估在评估医疗咨询质量方面的有效性如何？

主要发现

• Healthcare Copilot 在像 GPT-4、GPT-3.5、LLaMA2 与 ChatGLM3 这样的骨干模型上显著提升了查询能力、对话流畅性、响应准确性和响应安全性。
• 消融研究显示 Function、Inquiry、Safety、Conversation Memory 和 History Memory 模块各自对性能有贡献，移除模块时会有明显下降。
• GPT-4 通常作为 Healthcare Copilot 的骨干模型提供最强的性能。
• Safety 和 Doctor 模块增强了伦理合规性，并在需要时提供专业干预。
• 开源医学大型语言模型（如 MedAlpaca-7B）在遵循 Healthcare Copilot 指南方面存在挑战，强调开放性是一个限制因素。