[论文解读] Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches

Christophe Clément, Praveen K Kanithi+14 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical and Engineering Education被引用 12

一句话总结

这篇论文比较基于 Llama-2 构建的医疗领域大语言模型的全参数微调与参数高效微调（尤指 LoRA），报告 Med42 在 USMLE 上达到 72% 的准确率，并详细描述了去污染与模型开放性。

ABSTRACT

This study presents a comprehensive analysis and comparison of two predominant fine-tuning methodologies - full-parameter fine-tuning and parameter-efficient tuning - within the context of medical Large Language Models (LLMs). We developed and refined a series of LLMs, based on the Llama-2 architecture, specifically designed to enhance medical knowledge retrieval, reasoning, and question-answering capabilities. Our experiments systematically evaluate the effectiveness of these tuning strategies across various well-known medical benchmarks. Notably, our medical LLM Med42 showed an accuracy level of 72% on the US Medical Licensing Examination (USMLE) datasets, setting a new standard in performance for openly available medical LLMs. Through this comparative analysis, we aim to identify the most effective and efficient method for fine-tuning LLMs in the medical domain, thereby contributing significantly to the advancement of AI-driven healthcare applications.

研究动机与目标

• 推动在医疗领域需要进行领域特定微调以提升检索、推理与问答能力。
• 基于 Llama-2，使用全参数微调与 LoRA 式微调开发并评估医疗领域的 LLM（Med42）
• 在既定医疗基准上评估性能，并分析训练效率与污染风险。
• 提供最佳模型的开放获取部署，以推动医疗保健领域的 AI 发展。

提出的方法

• 从 Stack Exchange 医学论坛和选定的通用领域医学内容构建医疗指令微调数据集。
• 对 7B 和 70B 的 Llama-2 模型进行全参数微调和基于 LoRA 的参数高效微调。
• 通过串联系统/提示/助手样本应用掩码损失，并自回归地仅训练响应标记。
• 使用 AdamW，带余弦学习率计划、热身和标准正则化；为 FP-FT 和 LoRA 指定 epoch 数和学习率。
• 使用 Eleuther AI 的评估框架在多样化的医疗基准上进行零-shot 性能评估，并进行污染样本的去污染。
• 在 HuggingFace 上公开发布 Med42（70B），以便可重复性研究与开放研究。

Figure 1: Performance of 7-billion (left) and 70-billion (right) parameter models on various medical-related benchmark datasets (in zero-shot setting). Performance results (accuracy) are displayed in % for the base and fine-tuned models.

实验结果

研究问题

• RQ1 全参数微调与基于 LoRA 的参数高效微调在医疗问答与推理任务中的比较如何？
• RQ2 模型规模（7B vs 70B）是否会影响全参数微调与 LoRA 微调在医疗领域的相对收益？
• RQ3 数据集去污染对基准性能的影响如何？
• RQ4 Med42 与其他开放医疗大模型在常见基准和 USMLE 风格问题上的表现如何？

主要发现

• 微调后的模型在医疗基准上普遍优于其基线模型。
• 在大多数数据集上，全参数微调通常优于 LoRA。
• LoRA 的性能接近全参数微调，提供一个可行的资源高效替代方案。
• 去污染对较大规模微调模型的准确率影响仅为较小幅度，表明结果具有鲁棒性。
• Med42-70B 在与 USMLE 相关任务的零-shot 表现强劲，在与若干开放医疗大模型的对比中表现优越。
• 本研究强调开放许可和可重复性，发布 Med42 及评估框架。

Figure 2: Accuracy change after decontamination for both (70b) fine-tuned models (shown in %).