[论文解读] Med42-v2: A Suite of Clinical LLMs
Med42-v2 基于 Llama3，经过医疗数据的微调和多阶段对齐，在医疗基准测试中超过了基础的 Llama3 与 GPT-4。
Med42-v2 introduces a suite of clinical large language models (LLMs) designed to address the limitations of generic models in healthcare settings. These models are built on Llama3 architecture and fine-tuned using specialized clinical data. They underwent multi-stage preference alignment to effectively respond to natural prompts. While generic models are often preference-aligned to avoid answering clinical queries as a precaution, Med42-v2 is specifically trained to overcome this limitation, enabling its use in clinical settings. Med42-v2 models demonstrate superior performance compared to the original Llama3 models in both 8B and 70B parameter configurations and GPT-4 across various medical benchmarks. These LLMs are developed to understand clinical queries, perform reasoning tasks, and provide valuable assistance in clinical environments. The models are now publicly available at \href{https://huggingface.co/m42-health}{https://huggingface.co/m42-health}.
研究动机与目标
- 通过构建临床对齐的模型来解决通用大型语言模型在医疗保健中的局限性。
- 使用专门的医疗数据对 Llama3/3.1 进行微调，以提升临床实用性。
- 应用多阶段偏好对齐以应对真实世界的医疗保健提示。
- 在多项医疗基准上展示优于基础模型和 GPT-4 的性能。
提出的方法
- 两阶段训练：临床指令微调，然后进行偏好对齐。
- 数据：精选医疗与生物医学数据，以及占比 26.5% 的通用领域子集，以提升语言能力与泛化。
- 训练方法：对输出标记仅进行反向传播的自回归损失，8192-token 块，采用系统/助手/用户提示格式。
- 偏好对齐使用 UltraFeedback 和 Snorkel-DPO 数据集进行偏好对齐，具增量加权和直接偏好优化（DPO）等迭代重加权。
- 提供用于微调（8B/70B）和对齐阶段的超参数；在 HuggingFace 上发布模型。
- 使用 Eleuther AI 评估框架在标准医疗基准上进行评估。
实验结果
研究问题
- RQ1在与基础 Llama3 和 GPT-4 相比时，Med42-v2 模型在标准医疗基准上的表现如何？
- RQ2两阶段过程（指令微调+多阶段偏好对齐）是否提升了回答的临床实用性和安全性？
- RQ38B 与 70B 参数配置在医学推理和事实准确性方面的对比如何？
- RQ4医疗领域数据与通用领域数据混合对现实世界临床查询处理有何影响？
主要发现
- Med42-v2 在 8B 与 70B 以及 GPT-4 的多项医疗基准测试中均优于原始的 Llama3 模型。
- 较大型模型（70B）表现更强，在多项数据集的零样本评估中甚至可超越 GPT-4。
- 临床指令和对齐有助于提升在医疗情境中的理解与推理，提供更安全、更有用的临床回应。
- 通过 UltraFeedback 和 Snorkel-DPO 的对齐实现可扩展、稳定的调优，而无需完整的强化学习循环。
- 结果基于零样本评估；现实世界的临床实用性需要进一步评估。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。