[论文解读] Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding

Augustin Toma, Patrick R. Lawler+4 more|arXiv (Cornell University)|May 19, 2023

Artificial Intelligence in Healthcare and Education被引用 35

一句话总结

Clinical Camel 是一个开放的、专家级的医疗大型语言模型，基于 LLaMA-2 使用 QLoRA 微调，在开放医疗 LLM 中达到最先进的性能，并在若干基准测试中超过 GPT-3.5，具有将密集医疗文本转化为对话的新颖对话式知识编码。

ABSTRACT

We present Clinical Camel, an open large language model (LLM) explicitly tailored for clinical research. Fine-tuned from LLaMA-2 using QLoRA, Clinical Camel achieves state-of-the-art performance across medical benchmarks among openly available medical LLMs. Leveraging efficient single-GPU training, Clinical Camel surpasses GPT-3.5 in five-shot evaluations on all assessed benchmarks, including 64.3% on the USMLE Sample Exam (compared to 58.5% for GPT-3.5), 77.9% on PubMedQA (compared to 60.2%), 60.7% on MedQA (compared to 53.6%), and 54.2% on MedMCQA (compared to 51.0%). In addition to these benchmarks, Clinical Camel demonstrates its broader capabilities, such as synthesizing plausible clinical notes. This work introduces dialogue-based knowledge encoding, a novel method to synthesize conversational data from dense medical texts. While benchmark results are encouraging, extensive and rigorous human evaluation across diverse clinical scenarios is imperative to ascertain safety before implementation. By openly sharing Clinical Camel, we hope to foster transparent and collaborative research, working towards the safe integration of LLMs within the healthcare domain. Significant challenges concerning reliability, bias, and the potential for outdated knowledge persist. Nonetheless, the transparency provided by an open approach reinforces the scientific rigor essential for future clinical applications.

研究动机与目标

• 为研究和安全临床部署，激励对开放且高性能的医疗大型语言模型的需求。
• 将 Clinical Camel 作为一个开放替代方案呈现，与标准医学基准上的专有模型相媲美。
• 介绍 DBKE（Dialogue-Based Knowledge Encoding，基于对话的知识编码），将密集的医学文献转化为用于训练的对话数据。
• 展示在单个 GPU 上使用 QLoRA 对 13B 和 70B 参数变体进行高效微调。

提出的方法

• 在单个商用 GPU 上使用对人类输入的屏蔽，利用 QLoRA 对 LLaMA-2（13B 和 70B）进行微调。
• 开发 DBKE，通过师生微调设置将密集的临床文本转化为多轮对话。
• 从 ShareGPT、MedQA，以及 PubMed/开放获取的临床文章（2021 年之前）转换为对话，创建训练数据。
• 训练一个 epoch，使用 4096 token 的序列和跨模块的 64 LoRA rank。
• 使用 EleutherAI 评估框架进行评估，以报告在 zero-shot 和 five-shot 医学基准上的准确率。

实验结果

研究问题

• RQ1 在标准医学基准上，经过高效微调，开放的医疗 LLM 能否达到或超过 GPT-3.5？
• RQ2 基于对话的知识编码方法是否提升了领域特定医学文本的召回率和对话性能？
• RQ3 在医学问答基准上，开放医疗 LLM 与顶级专有模型（GPT-4、Med-PaLM 2）之间的性能差距有多大？
• RQ4 在单个 GPU 上训练出高性能的医疗 LLM，同时保持有竞争力的上下文长度和能力，是否可行？

主要发现

• 在五次样本评估中，Clinical Camel 在所有评估基准上超越 GPT-3.5：USMLE Sample Exam 64.3% 对 58.5%，PubMedQA 77.9% 对 60.2%，MedQA 60.7% 对 53.6%，MedMCQA 54.2% 对 51.0%。
• Clinical Camel 在零-shot 和五-shot 设置下跨越多个 MMLU 医学领域优于 GPT-3.5，但总体仍落后于 GPT-4 和 Med-PaLM 2。
• 在 PubMedQA 上，Clinical Camel 在五-shot 评估中超过 GPT-4（GPT-4 分数为 74.4，Med-PaLM 2 为 79.2，Clinical Camel 为 77.9）。
• 该模型支持更长的上下文（4096 tokens），能够从长对话中生成看似合理的临床笔记。
• DBKE 使将密集的医学文献转换为对话成为可能，从而提高模型的召回与对齐，同时降低数据与计算需求。