[论文解读] Introducing L2M3, A Multilingual Medical Large Language Model to Advance Health Equity in Low-Resource Regions

Agasthya Gangavarapu|arXiv (Cornell University)|Apr 11, 2024

Chronic Disease Management Strategies被引用 5

一句话总结

本论文提出 Uheal L2M3 系统，一种模块化的多语言医疗大模型，结合机器翻译和守则，帮助低收入和中等收入国家的社区卫生工作者，旨在提高医疗准确性、安全性和可及性。

ABSTRACT

Addressing the imminent shortfall of 10 million health workers by 2030, predominantly in Low- and Middle-Income Countries (LMICs), this paper introduces an innovative approach that harnesses the power of Large Language Models (LLMs) integrated with machine translation models. This solution is engineered to meet the unique needs of Community Health Workers (CHWs), overcoming language barriers, cultural sensitivities, and the limited availability of medical dialog datasets. I have crafted a model that not only boasts superior translation capabilities but also undergoes rigorous fine-tuning on open-source datasets to ensure medical accuracy and is equipped with comprehensive safety features to counteract the risks of misinformation. Featuring a modular design, this approach is specifically structured for swift adaptation across various linguistic and cultural contexts, utilizing open-source components to significantly reduce healthcare operational costs. This strategic innovation markedly improves the accessibility and quality of healthcare services by providing CHWs with contextually appropriate medical knowledge and diagnostic tools. This paper highlights the transformative impact of this context-aware LLM, underscoring its crucial role in addressing the global healthcare workforce deficit and propelling forward healthcare outcomes in LMICs.

研究动机与目标

• 通过使 LMICs 的 CHWs 能够获取具备情境相关性的医疗知识与诊断，来应对全球医疗工作者短缺的紧迫问题。
• 开发一个模块化、文化本地化的带有强健安全特征的 LLM 系统，以对抗错误信息。
• 利用开源组件降低医疗保健运营成本并提升跨语言与区域的扩展性。
• 将培训聚焦于以 DALY 为驱动的健康优先领域（IHD、LRIs、新生儿护理），以最大化对疾病负担的影响。

提出的方法

• 从临床指南、区域指南、医疗对话和 FAERS 不良事件数据中，精选组成总计 9.3 亿令牌的领域自适应医疗语料。
• 在 520 百万 medically relevant tokens 上对开源 Meditron 70B 进行医疗领域自适应微调，使用 AdamW、批量大小 64、学习率 2e-5，进行 2 轮在 A100-80GB×8 GPU 集群上，采用 AWQ 量化。
• 在并行医疗语料上对 Meta Seamless M4T v2 Large 翻译模型进行微调，以实现双向 English↔Telugu、English↔Hindi、English↔Arabic、English↔Swahili 的翻译。
• 将非英语医疗对话数据集翻译成（通过 Azure AI Translator 的中文来源数据），并进行后编辑以提升口语流畅性和文化相关性。
• 实现一个两阶段综合系统：(i) 翻译成英文以供 L2M3 处理，(ii) L2M3 的应答，(iii) 翻译回本地语言，NeMo Guardrails 确保安全性、相关性以及防止越狱攻击。
• 使用定制的农村 CHW 评估数据集，并通过 GPT-4 与 Claude Opus API 验证，评估领域自适应模型性能和翻译准确性。

Figure 1: Data Acquisition and Standardization

实验结果

研究问题

• RQ1 当多语言医疗 LLM 结合翻译与守则时，是否能为 LMICs 的 CHWs 提供准确、安全且具有文化适应性的指导？
• RQ2 领域自适应微调对低资源语言的医疗诊断与护理能力有何影响？
• RQ3 将翻译模型与领域微调的医疗 LLM 结合，如何影响临床对话中的翻译准确性与错误传播？
• RQ4 这一模块化、开源的堆栈在农村 LMIC 设置中在多大程度上可以降低成本并改善健康结果？

主要发现

• 在领域自适应后，翻译质量在各语言上的提升显著（例如 Telugu BLEU 75.6→82.4，Hindi 73.4→83.1，Swahili 45.8→48.1，Arabic 68.5→80.5；English→Telugu 59.1→81.7，English→Hindi 62.1→83.3，English→Swahili 32.4→40.1，English→Arabic 54.3→78.9）。
• 集成的 MT+LM 系统显示相较独立 LLM 的潜在改进，初步的 Telugu 翻译准确度约为 0.48（0.71×0.675），其他语言条目也显示出域微调和跨语言嵌入策略的类似好处。
• 通过两个定制的农村 CHW 数据集并由 GPT-4 与 Claude Opus API 验证的域自适应 L2M3 性能；集成的 L2M3 系统在 Reasoning Hallucination Tests（RHT）上优于 GPT-3.5。
• 翻译感知设计揭示了情境敏感的挑战（性别/年龄、COPD 术语）影响翻译；强调需要对目标语言的医疗词汇进行情境本地化与持续后编辑。
• 该系统使用 NeMo Guardrails 监控提示与输出的安全性、减少幻觉并防止不安全行为，同时不修改用户输入。

Figure 2: Comparative Performance of GPT-4, Llama 2, Biomistral, and Meditron