[论文解读] MEDITRON-70B: Scaling Medical Pretraining for Large Language Models

Zeming Chen, A. Cano+18 more|arXiv (Cornell University)|Nov 27, 2023

Artificial Intelligence in Healthcare and Education被引用 117

一句话总结

MEDITRON-7B 与 MEDITRON-70B 是通过在精选医疗数据上进行持续预训练而构建的开源医疗大模型，在开源模型中达到最前沿的结果，并在多个医疗基准上与部分封闭模型相比具有竞争力。

ABSTRACT

Large language models (LLMs) can potentially democratize access to medical knowledge. While many efforts have been made to harness and improve LLMs' medical knowledge and reasoning capacities, the resulting models are either closed-source (e.g., PaLM, GPT-4) or limited in scale (<= 13B parameters), which restricts their abilities. In this work, we improve access to large-scale medical LLMs by releasing MEDITRON: a suite of open-source LLMs with 7B and 70B parameters adapted to the medical domain. MEDITRON builds on Llama-2 (through our adaptation of Nvidia's Megatron-LM distributed trainer), and extends pretraining on a comprehensively curated medical corpus, including selected PubMed articles, abstracts, and internationally-recognized medical guidelines. Evaluations using four major medical benchmarks show significant performance gains over several state-of-the-art baselines before and after task-specific finetuning. Overall, MEDITRON achieves a 6% absolute performance gain over the best public baseline in its parameter class and 3% over the strongest baseline we finetuned from Llama-2. Compared to closed-source LLMs, MEDITRON-70B outperforms GPT-3.5 and Med-PaLM and is within 5% of GPT-4 and 10% of Med-PaLM-2. We release our code for curating the medical pretraining corpus and the MEDITRON model weights to drive open-source development of more capable medical LLMs.

研究动机与目标

• 展示域特定的持续预训练如何提升大规模LLMs 的医疗推理能力。
• 发布开源的医疗预训练数据、训练代码和模型权重，以实现可重复开发。
• 在关键医疗基准上对 MEDITRON 进行评估，采用上下文学习和微调。
• 显示更大规模模型（70B）在医疗任务上与基线和封闭 LLMs 的比较。

提出的方法

• 在 GAP-REPLAY 上对基于 Llama-2 的模型进行持续预训练：医疗数据混合包括 PubMed/PubMed Central 论文、摘要、临床指南，以及一个经验回放语料库。
• 对 Megatron-LM 进行工程扩展，以支持 Llama/Llama-2/Falcon 架构和高效训练（DP/PP/TP，FlashAttention）。
• 超参数：AdamW 与余弦调度；2048/4096 语境长度；32k BPE 词汇表；领域特定的标记处理。
• 在基准训练集上进行有监督微调（PubMedQA、MedMCQA、MedQA），并附带任务特定指令。
• 推理策略包括 Top Token Selection、Chain-of-Thought 提示（CoT）和 Self-Consistency CoT（SC-CoT）。
• 在四个医疗基准上进行评估（MedQA、MedMCQA、PubMedQA、MMLU-Medical），在上下文学习和微调两种模式下。

实验结果

研究问题

• RQ1 在对精选医疗语料进行持续预训练如何影响大型模型在医疗推理任务中的表现？
• RQ2 在使用上下文学习与微调时，从 7B 参数扩展到 70B 参数在医疗领域有哪些收益？
• RQ3 先进的推理策略（CoT、SC-CoT）是否为 MEDITRON 模型的医疗推理提供显著提升？
• RQ4 开源医疗大模型在标准医疗基准上与封闭模型（GPT-3.5、GPT-4、Med-PaLM）相比如何？
• RQ5 领域特定数据（临床指南、PubMed 摘要/论文）相对于通用数据对医疗预训练效果有何影响？

主要发现

• 在上下文学习下，MEDITRON-7B 的表现超过若干开源基线；继续医疗预训练比基础的 Llama-2-7B 能带来额外提升。
• MEDITRON-70B 在各基准上相较于其基础的 Llama-2-70B 显著提升，包括 PubMedQA 和 MedMCQA。
• 在评估配置中，使用 Self-Consistency CoT 与 MEDITRON-70B 取得最高的平均准确率（表 5 的 72.0% 平均值）。
• 在 70B 情况下，MEDITRON-70B 已接近某些商用 LLM 的性能，在若干任务上优于 GPT-3.5 和 Med-PaLM，但在某些指标上仍低于 GPT-4/Med-PaLM-2。
• 在类似 MedQA 的任务上，MEDITRON 取得强劲表现，PubMedQA 的上下文结果接近微调基线（例如，79.8% 上下文 vs 80.0% 微调）。
• 发布内容包括精选的医疗预训练语料、训练库和模型权重，以支持开放开发。