[论文解读] CMB: A Comprehensive Medical Benchmark in Chinese

Xidong Wang, Guiming Hardy Chen+9 more|arXiv (Cornell University)|Aug 17, 2023

Machine Learning in Healthcare被引用 4

一句话总结

本文提出了CMB，这是一个专为评估大语言模型（LLMs）在中国独特语言和文化医疗背景下的表现而设计的综合性中文医疗基准。CMB基于真实的中文医学资格考试和临床病例构建，涵盖知识回忆（CMB-Exam）与临床推理（CMB-Clin）两方面评估，展现出自动评估（GPT-4）与专家评估之间高度一致，Spearman等级相关系数达0.93。

ABSTRACT

Large Language Models (LLMs) provide a possibility to make a great breakthrough in medicine. The establishment of a standardized medical benchmark becomes a fundamental cornerstone to measure progression. However, medical environments in different regions have their local characteristics, e.g., the ubiquity and significance of traditional Chinese medicine within China. Therefore, merely translating English-based medical evaluation may result in extit{contextual incongruities} to a local region. To solve the issue, we propose a localized medical benchmark called CMB, a Comprehensive Medical Benchmark in Chinese, designed and rooted entirely within the native Chinese linguistic and cultural framework. While traditional Chinese medicine is integral to this evaluation, it does not constitute its entirety. Using this benchmark, we have evaluated several prominent large-scale LLMs, including ChatGPT, GPT-4, dedicated Chinese LLMs, and LLMs specialized in the medical domain. We hope this benchmark provide first-hand experience in existing LLMs for medicine and also facilitate the widespread adoption and enhancement of medical LLMs within China. Our data and code are publicly available at https://github.com/FreedomIntelligence/CMB.

研究动机与目标

• 为解决现有以英语为中心的医疗基准在评估中国独特医疗背景下的大语言模型时存在的局限性。
• 构建一个标准化、根植于文化的评估框架，真实反映中国的医学教育与实践，包括中医内容。
• 为大语言模型提供一种自我评估工具，而非竞争性排行榜，以支持医疗应用中模型的持续改进。
• 通过使用真实医学资格考试数据并设定客观真实答案，以及以60%作为专家水平表现的基准，确保评估的严谨性。
• 通过对比GPT-4自动评估与专家人工判断在临床推理任务上的结果，验证自动评估的可靠性。

提出的方法

• CMB由涵盖所有医学专业领域的真实中文医学资格考试题目构建而成：医师、护士、医学技术人员及药剂师。
• CMB-Exam由包含4至6个选项、且可能有多个正确答案的多项选择题构成，题目源自从本科到高级职称的官方考试。
• CMB-Clin由复杂的多轮临床病例研究组成，要求综合运用医学知识与推理能力，答案经专家共识验证。
• 该基准使用公开可获取的、已匿名化的考试数据，并获得中国医学题库的明确授权，以确保伦理合规与数据隐私。
• 自动评估通过GPT-4执行，对模型输出在相关性、完整性、流畅性与专业性方面进行评分，并与专家人工标注结果对比。
• 统计验证包括GPT-4与专家评分排名之间的Spearman等级相关系数（0.93），以及对解码超参数（如温度）对性能稳定性影响的分析。

Figure 1 : Components of the CMB dataset. Left: The structure of CMB-Exam, consisting of multiple-choice and multiple-answer questions. Right: an example of CMB-Clin. Each example consists of a description and a multi-turn conversation.

实验结果

研究问题

• RQ1 领先的大语言模型在综合性、文化与语言本地化的中文医疗基准上的表现如何？
• RQ2 使用GPT-4进行自动评估时，其与专家人工评估在中文医学临床推理任务上的对齐程度如何？
• RQ3 在知识密集型多项选择题（CMB-Exam）上的表现能否预测在复杂临床推理任务（CMB-Clin）上的表现？
• RQ4 模型排名对推理过程中解码温度变化的鲁棒性如何？
• RQ5 在CMB-Exam数据上进行微调，是否会影响模型在基于临床病例推理任务上的泛化能力？

主要发现

• GPT-4、ChatGPT与Baichuan-13B-chat在CMB-Clin上表现最佳，平均得分分别为3.45、3.40与3.74，相较于其他模型在相关性、完整性与专业性方面至少高出7.4%。
• GPT-4评估与专家人工评估在CMB-Clin上的Spearman等级相关系数为0.93，表明自动评估具有高度一致性与可靠性。
• CMB-Exam与CMB-Clin上模型排名的相关系数为0.89（p值 = 2.3e-4），表明模型在知识回忆与推理任务中表现一致。
• 随着解码温度升高，CMB-Clin上的表现下降，温度为0时得分最高，表明在医疗场景中确定性输出更受青睐。
• 不同温度下模型排名之间的成对Spearman相关系数均高于0.87，表明模型排名对超参数变化具有鲁棒性。
• MedicalGPT、DoctorGLM、Bentsao与ChatGLM-Med等模型表现不理想，表明尽管其输出流畅，但在医学知识或推理能力方面可能存在缺陷。

Figure 2 : Accuracy across various clinical medicine fields at different career stages. The accuracies are the Zero-shot average values for TOP-5 models using direct response strategy.