[논문 리뷰] Introducing L2M3, A Multilingual Medical Large Language Model to Advance Health Equity in Low-Resource Regions

Agasthya Gangavarapu|arXiv (Cornell University)|2024. 04. 11.

Chronic Disease Management Strategies인용 수 5

한 줄 요약

본 논문은 Uheal L2M3 시스템을 제시합니다. 이 시스템은 기계 번역과 가드레일로 보강된 모듈식 다중언어 의료 LLM으로, LMIC의 지역사회 보건 요원을 지원하고 의료 정확성, 안전성 및 접근성을 향상시키는 것을 목표로 합니다.

ABSTRACT

Addressing the imminent shortfall of 10 million health workers by 2030, predominantly in Low- and Middle-Income Countries (LMICs), this paper introduces an innovative approach that harnesses the power of Large Language Models (LLMs) integrated with machine translation models. This solution is engineered to meet the unique needs of Community Health Workers (CHWs), overcoming language barriers, cultural sensitivities, and the limited availability of medical dialog datasets. I have crafted a model that not only boasts superior translation capabilities but also undergoes rigorous fine-tuning on open-source datasets to ensure medical accuracy and is equipped with comprehensive safety features to counteract the risks of misinformation. Featuring a modular design, this approach is specifically structured for swift adaptation across various linguistic and cultural contexts, utilizing open-source components to significantly reduce healthcare operational costs. This strategic innovation markedly improves the accessibility and quality of healthcare services by providing CHWs with contextually appropriate medical knowledge and diagnostic tools. This paper highlights the transformative impact of this context-aware LLM, underscoring its crucial role in addressing the global healthcare workforce deficit and propelling forward healthcare outcomes in LMICs.

연구 동기 및 목표

• LMIC의 CHWs가 맥락상 관련된 의학 지식과 진단에 접근할 수 있도록 함으로써 다가오는 글로벌 보건 인력 부족에 대응합니다.
• 허위정보에 대응하기 위해 강력한 안전 기능을 갖춘 모듈식의 문화적으로 현지화된 LLM 시스템을 개발합니다.
• 언어와 지역 전반에 걸친 확장성을 향상시키고 의료 운영 비용을 줄이기 위해 오픈소스 구성요소를 활용합니다.
• 질병 부담에 최대한 영향을 주도록 교육을 DALY 중심의 보건 우선순위(IHD, LRIs, 신생아 관리)에 집중합니다.]
• method:[

제안 방법

• 임상 지침, 지역 지침, 의학 대화, FAERS 부작용 데이터에서 총 930 백만 토큰에 이르는 도메인 적응형 의학 코퍼스를 큐레이션합니다.
• 오픈소스 Meditron 70B를 의학 도메인 적응에 대해 520 million medically relevant tokens에서 AdamW, 64 배치 크기, 학습률 2e-5로 2에포크 수행하여 AWQ 양자화를 적용한 A100-80GB×8 GPU 클러스터에서 미세조정합니다.
• 영문↔텔루구어, 영문↔힌디어, 영문↔아랍어, 영문↔스와힐리 간 양방향 번역을 가능하게 하도록 병렬 의학 코퍼스에서 Meta Seamless M4T v2 Large 번역 모델을 미세조정합니다.
• 비영어권 의학 대화 데이터 세트(중국-origin 데이터는 Azure AI Translator로 번역) 를 번역하고 구어체 유창성과 문화적 관련성을 개선하기 위한 후편집을 적용합니다.
• 두 단계 통합 시스템을 구현합니다: (i) L2M3 처리를 위한 영어로의 번역, (ii) L2M3 응답, (iii) 현지 언어로의 번역 복귀, 안전성, 적합성, 탈옥 방지 등을 보장하는 NeMo Guardrails를 적용합니다.
• GPT-4 및 Claude Opus API로 검증된 맞춤형 농촌-CHW 평가 데이터셋을 사용하여 도메인 적응 모델의 성능과 번역 정확성을 평가합니다.]
• research_questions:[

Figure 1: Data Acquisition and Standardization

실험 결과

연구 질문

• RQ1 번역 및 가드레일과 결합된 다국어 의료 LLM이 LMIC의 CHWs에게 정확하고 안전하며 문화적으로 적절한 지침을 제공할 수 있을까요？
• RQ2 저자원 언어에서의 의료 진단 및 치료 제공 능력에 대한 도메인 적응 미세조정의 영향은 무엇인가?
• RQ3 도메인에 맞춘 의학 LLM과 번역 모델의 통합이 임상 대화의 번역 정확도와 오차 전파에 어떤 영향을 미치는가?
• RQ4 이 모듈식 오픈소스 스택이 농촌 LMIC 환경에서 비용을 얼마나 줄이고 보건 결과를 개선할 수 있는가?

주요 결과

• 도메인 적응 후 번역 품질에서 언어 간 상당한 이득을 얻었습니다(예: Telugu BLEU 75.6→82.4, Hindi 73.4→83.1, Swahili 45.8→48.1, Arabic 68.5→80.5; English→Telugu 59.1→81.7, English→Hindi 62.1→83.3, English→Swahili 32.4→40.1, English→Arabic 54.3→78.9).
• 통합 MT+LM 시스템은 독립형 LLM 대비 잠재적 개선을 보여주며, 예비 텔루구어 번역 정확도는 약 0.48(0.71×0.675)로 나타났고, 다른 언어 항목도 도메인 튜닝 및 교차 언어 임베딩 전략으로 유사한 이점을 시사합니다.
• 도메인 적응 L2M3의 성능은 두 개의 맞춤형 농촌-CHW 데이터 세트를 통해 평가되고 GPT-4 및 Claude Opus API로 검증되었습니다; 통합 L2M3 시스템은 Reasoning Hallucination Tests (RHT)에서 GPT-3.5를 능가했습니다.
• 번역 인식 설계는 번역에 영향을 주는 맥락 의존적 도전과제(성별/연령, COPD 용어)를 드러냈으며, 대상 언어의 의학 어휘에 대한 맥락화된 현지화와 지속적인 후편집의 필요성을 강조합니다.
• 시스템은 안전성을 모니터링하고, 환각을 줄이며, 안전하지 않은 동작을 방지하기 위해 NeMo Guardrails를 사용하되, 사용자 입력은 수정하지 않습니다.

Figure 2: Comparative Performance of GPT-4, Llama 2, Biomistral, and Meditron