[论文解读] HuatuoGPT, towards Taming Language Model to Be a Doctor

Hongbo Zhang, Junying Chen+11 more|arXiv (Cornell University)|May 24, 2023

Artificial Intelligence in Healthcare and Education被引用 18

一句话总结

HuatuoGPT 将 ChatGPT 摘取数据与真实医生数据相结合，并使用来自 AI 反馈的强化学习来创建一个中文医疗大模型，在医疗咨询中优于开源对手，且常常可与或超越 ChatGPT。

ABSTRACT

In this paper, we present HuatuoGPT, a large language model (LLM) for medical consultation. The core recipe of HuatuoGPT is to leverage both extit{distilled data from ChatGPT} and extit{real-world data from doctors} in the supervised fine-tuned stage. The responses of ChatGPT are usually detailed, well-presented and informative while it cannot perform like a doctor in many aspects, e.g. for integrative diagnosis. We argue that real-world data from doctors would be complementary to distilled data in the sense the former could tame a distilled language model to perform like doctors. To better leverage the strengths of both data, we train a reward model to align the language model with the merits that both data bring, following an RLAIF (reinforced learning from AI feedback) fashion. To evaluate and benchmark the models, we propose a comprehensive evaluation scheme (including automatic and manual metrics). Experimental results demonstrate that HuatuoGPT achieves state-of-the-art results in performing medical consultation among open-source LLMs in GPT-4 evaluation, human evaluation, and medical benchmark datasets. It is worth noting that by using additional real-world data and RLAIF, the distilled language model (i.e., HuatuoGPT) outperforms its teacher model ChatGPT in most cases. Our code, data, and models are publicly available at \url{https://github.com/FreedomIntelligence/HuatuoGPT}. The online demo is available at \url{https://www.HuatuoGPT.cn/}.

研究动机与目标

• 促使开源、私有部署的医疗大模型缩小全球医疗获取差距。
• 提出一个将提取自 ChatGPT 的数据与真实世界医生数据融合的两阶段训练管线。
• 引入来自 AI 反馈的强化学习（RLAIF），使模型输出在遵循指令与医生式推理之间对齐。
• 建立一个综合评估方案，结合自动与人工评估，对多组医疗数据集进行评测。

提出的方法

• 混合数据 SFT：在指令数据和真实世界医生对话上进行训练，灌输医生式与对患者友好的行为。
• 提取数据引入：利用 ChatGPT 生成的医疗指令与对话，提升指令遵循性与流畅度。
• 奖励模型：使用大型语言模型的分数来训练奖励模型，以捕捉信息性、连贯性与事实准确性。
• 来自 AI 反馈的强化学习（RLAIF）：在 KL 罚值的策略更新下对模型进行优化，使其在 ChatGPT 与医生的优点之间取得对齐。
• 基础模型及设定：BLOOMZ-7b1-mt 主干；8 个 A100GPU 的多阶段训练，包含具体的学习率/批次/上下文设置，以及用于提升中文常规对话能力的额外数据。

Figure 2: Schematic of HuatuoGPT.

实验结果

研究问题

• RQ1 将真实医生数据与提取自 ChatGPT 的数据结合，是否能提升医生式诊断与面向患者的沟通？
• RQ2 来自 AI 反馈的强化学习（RLAIF）是否比纯 SFT 更能将医疗大模型输出与专业诊断质量及患者安全对齐？
• RQ3 在中文医疗基准测试和 GPT-4 评估的单轮与多轮场景中，HuatuoGPT 相较基线的表现如何？
• RQ4 在加入真实世界数据后，HuatuoGPT 是否能够在许多医疗咨询任务上超越其教师模型 ChatGPT？

主要发现

• HuatuoGPT 在中文医疗领域的 GPT-4、人工评估与医疗基准测试中，对开源 LLMs 取得了最前沿的结果。
• 在多数情况下，带有真实世界数据与 RLAIF 的 HuatuoGPT 优于其教师模型 ChatGPT。
• HuatuoGPT 在 cMedQA2、webMedQA 与 Huatuo-26M 基准测试上达到 SOTA 性能。
• 自动评估（GPT-4）与人工评估均印证 HuatuoGPT 的医生式准确性、互动式提问能力与面向患者的友好回应。
• 该模型在跨多个部门的单轮与多轮评测中，持续超越 BenTsao、DoctorGLM 与 GPT-3.5-turbo。

Figure 3: The model performance ratio for each category on 100 single-turn questions, reviewed by GPT4. The performance of HuatuoGPT is set to 1.0.