[論文レビュー] Introducing L2M3, A Multilingual Medical Large Language Model to Advance Health Equity in Low-Resource Regions

Agasthya Gangavarapu|arXiv (Cornell University)|Apr 11, 2024

Chronic Disease Management Strategies被引用数 5

ひとこと要約

この論文は、機械翻訳とガードレールを組み込んだモジュール式の多言語医療LLMである Uheal L2M3 システムを提示し、LMICsのコミュニティ保健ワーカーを支援し、医療の正確さ、安全性、アクセス性の向上を目指します。

ABSTRACT

Addressing the imminent shortfall of 10 million health workers by 2030, predominantly in Low- and Middle-Income Countries (LMICs), this paper introduces an innovative approach that harnesses the power of Large Language Models (LLMs) integrated with machine translation models. This solution is engineered to meet the unique needs of Community Health Workers (CHWs), overcoming language barriers, cultural sensitivities, and the limited availability of medical dialog datasets. I have crafted a model that not only boasts superior translation capabilities but also undergoes rigorous fine-tuning on open-source datasets to ensure medical accuracy and is equipped with comprehensive safety features to counteract the risks of misinformation. Featuring a modular design, this approach is specifically structured for swift adaptation across various linguistic and cultural contexts, utilizing open-source components to significantly reduce healthcare operational costs. This strategic innovation markedly improves the accessibility and quality of healthcare services by providing CHWs with contextually appropriate medical knowledge and diagnostic tools. This paper highlights the transformative impact of this context-aware LLM, underscoring its crucial role in addressing the global healthcare workforce deficit and propelling forward healthcare outcomes in LMICs.

研究の動機と目的

• LMICsのCHWsが文脈に適した医療知識と診断にアクセスできるようにすることで、即時の世界的な医療人材不足に対処する。
• 誤情報に対抗するために、ロバストな安全機能を備えたモジュール式で文化的にローカライズされたLLMシステムを開発する。
• オープンソースコンポーネントを活用して医療運用コストを削減し、言語と地域を跨ぐスケーラビリティを高める。
• 訓練を DALY 主導の健康優先事項（IHD、LRIs、新生児ケア）に焦点を当て、疾病負担への影響を最大化する。

提案手法

• 臨床ガイドライン、地域ガイドライン、医療対話、FAERSの有害事象データから合計930百万トークンのドメイン適応型医療コーパスを作成する。
• オープンソースの Meditron 70B を医療ドメイン適応のため、520 百万の医療関連トークンを用いて AdamW、バッチサイズ64、学習率2e-5、2エポック、A100-80GB×8 GPUクラスター、AWQ 量子化で Fine-tune する。
• 並列医療コーパス上で Meta Seamless M4T v2 Large 翻訳モデルをファインチューニングし、英語↔テルグ語、英語↔ヒンディー語、英語↔アラビア語、英語↔スワヒリ語の双方向翻訳を可能にする。
• 非英語の医療対話データセットを翻訳（中国語起源データを Azure AI Translator で翻訳）し、口語的流暢さと文化的適合性を高めるためにポストエディティングを適用する。
• 二段階の統合システムを実装する：(i) L2M3処理のための英語への翻訳、(ii) L2M3 の応答、(iii) 現地語への翻訳戻し、NeMo Guardrails により安全性・関連性・ジャイルブレイキング耐性を確保する。
• GPT-4 および Claude Opus API で検証された特注の農村CHW評価データセットを用いて、ドメイン適応モデルの性能と翻訳精度の評価を行う。

Figure 1: Data Acquisition and Standardization

実験結果

リサーチクエスチョン

• RQ1 翻訳とガードレールを組み合わせた多言語医療LLMは、LMICsのCHWsに対して正確で安全かつ文化的に適切なガイダンスを提供できるのか。
• RQ2 低資源言語における医療診断・ケア提供能力に対するドメイン適応ファインチューニングの影響はどのようか。
• RQ3 翻訳モデルをドメイン適応済みの医療LLMと統合することは、臨床対話における翻訳精度とエラー伝播にどのように影響するか。
• RQ4 このモジュール式のオープンソーススタックは、農村部のLMIC設定においてコストをどの程度削減し、健康アウトカムを改善できるか。

主な発見

• ファインチューニングは、言語横断の翻訳品質に著しい向上をもたらす（例：Telugu BLEU 75.6→82.4、Hindi 73.4→83.1、Swahili 45.8→48.1、Arabic 68.5→80.5；English→Telugu 59.1→81.7、English→Hindi 62.1→83.3、English→Swahili 32.4→40.1、English→Arabic 54.3→78.9）。
• 統合型 MT+LM システムは、単独の LLM よりも改善の可能性を示し、Telugu の初期翻訳精度は約0.48（0.71×0.675）し、他言語の項目もドメイン調整と多言語埋め込み戦略の恩恵を示している。
• ドメイン適応済みの L2M3 の性能は、2つの特注された農村CHWデータセットを用いて評価され、GPT-4 および Claude Opus APIs で検証された。統合型 L2M3 は Reasoning Hallucination Tests (RHT) で GPT-3.5 を上回った。
• 翻訳対応設計は、翻訳に影響する文脈依存の課題（性別/年齢、COPD 用語など）を明らかにし、ターゲット言語の医療語彙の文脈的ローカライズと継続的なポストエディティングの必要性を浮き彫りにした。
• 本システムは安全性を確保し、幻覚を減らし、危険な挙動を防ぐために NeMo Guardrails を用いてプロンプト/出力を監視するが、ユーザー入力を変更することはない。

Figure 2: Comparative Performance of GPT-4, Llama 2, Biomistral, and Meditron