[论文解读] Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People

Xinyin Wang, Nuo Chen+10 more|arXiv (Cornell University)|Mar 6, 2024

Artificial Intelligence in Healthcare and Education被引用 10

一句话总结

简述：Apollo 提议在 ApolloCorpora 上训练的轻量级多语言医学大模型（0.5B–7B），覆盖英语、中文、印地语、西班牙语、法语和阿拉伯语，引入 XMedBench 进行评估，并显示代理微调可在不微调的情况下将多语言医学能力扩展到更大模型。

ABSTRACT

Despite the vast repository of global medical knowledge predominantly being in English, local languages are crucial for delivering tailored healthcare services, particularly in areas with limited medical resources. To extend the reach of medical AI advancements to a broader population, we aim to develop medical LLMs across the six most widely spoken languages, encompassing a global population of 6.1 billion. This effort culminates in the creation of the ApolloCorpora multilingual medical dataset and the XMedBench benchmark. In the multilingual medical benchmark, the released Apollo models, at various relatively-small sizes (i.e., 0.5B, 1.8B, 2B, 6B, and 7B), achieve the best performance among models of equivalent size. Especially, Apollo-7B is the state-of-the-art multilingual medical LLMs up to 70B. Additionally, these lite models could be used to improve the multi-lingual medical capabilities of larger models without fine-tuning in a proxy-tuning fashion. We will open-source training corpora, code, model weights and evaluation benchmark.

研究动机与目标

• 通过扩展到六种最常用语言（英语、中文、印地语、西班牙语、法语、阿拉伯语）来民主化医学 AI。
• 构建高质量的多语言医学数据（ApolloCorpora）和评测基准（XMedBench），以评估跨语言的医学知识。
• 展示轻量级模型（0.5B–7B）在相同规模下可超越同等规模的对手，并通过代理微调提升更大模型的能力，同时不暴露私有医学数据。
• 证明多语言训练和数据重写策略在分析潜在多语言训练风险的同时，能提高跨语言的医学理解。

提出的方法

• 通过从书籍、论文、百科全书、指南、对话、考试和网络资源中收集六种语言的高质量医学数据来创建 ApolloCorpora。
• 使用 ChatGPT 将预训练数据的一部分改写为 QA 对，以促进从预训练到指令微调的更平滑过渡。
• 应用自适应、基于优先级的数据抽样，在预训练和指令微调数据之间进行混合。
• 在 0.5B、1.8B、2B、6B 和 7B 参数下训练 Apollo 模型，并进行多语言训练和语言特定训练比较。
• 使用 XMedBench 进行多语言医学知识评估，采用模拟跨语言的真实医学考试问题的提示进行评估。
• 提出并评估 ProxyTuning，以便在不对私有医学数据进行直接微调的前提下，将 larger 模型与小的已微调医学模型对齐。

实验结果

研究问题

• RQ1 多语言训练的医学大模型在所有语言中是否对比语言特定模型或简单权重平均具有更一致的性能提升？
• RQ2 将预训练数据改写为 QA 对如何影响下游的多语言医学性能？
• RQ3 代理微调是否能在不暴露私有语料库给集中式训练的情况下，将多语言医学能力扩展到更大的一般大模型？
• RQ4 在多语言医学大模型中，语言特定的优势和差距（如阿拉伯语和印地语）是什么，混合训练如何缓解它们？
• RQ5 混合训练策略对长尾语言和跨语言知识迁移有何影响？

主要发现

• 多语言训练在所研究的所有语言中相对于语言特定模型表现出平均提升。
• Apollo-7B 在同等规模的多语言医学大模型中达到最先进的性能，且在其规模下总体表现可与 GPT-3.5 匹配。
• 阿拉伯语和印地语相对于其他语言表现较弱，揭示了多语言的差距。
• 仅将预训练数据改写为 QA 对不会降低总体性能，在混合训练后实现的平滑转变对非主流语言有更好效果。
• 混合训练（结合多语言数据）相比单语言或单一语言训练大大提升了多语言医学能力。
• ProxyTuning 使更大模型能够借助小的 Apollo 模型作为指南获得多语言医学能力，而不在私有医学数据上对更大模型进行微调。