[論文レビュー] Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches

Christophe Clément, Praveen K Kanithi+14 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical and Engineering Education被引用数 12

ひとこと要約

この論文は、全パラメータ微調整とパラメータ効率的微調整（特に LoRA）を、Llama-2 に基づく医療 LLM に対して比較し、Med42 が USMLE で 72% の精度を達成することと、デコンタミネーションとモデルのオープン性を詳述している。

ABSTRACT

This study presents a comprehensive analysis and comparison of two predominant fine-tuning methodologies - full-parameter fine-tuning and parameter-efficient tuning - within the context of medical Large Language Models (LLMs). We developed and refined a series of LLMs, based on the Llama-2 architecture, specifically designed to enhance medical knowledge retrieval, reasoning, and question-answering capabilities. Our experiments systematically evaluate the effectiveness of these tuning strategies across various well-known medical benchmarks. Notably, our medical LLM Med42 showed an accuracy level of 72% on the US Medical Licensing Examination (USMLE) datasets, setting a new standard in performance for openly available medical LLMs. Through this comparative analysis, we aim to identify the most effective and efficient method for fine-tuning LLMs in the medical domain, thereby contributing significantly to the advancement of AI-driven healthcare applications.

研究の動機と目的

• 医療 LLM の検索、推論、QA を改善するためのドメイン特化微調整の必要性を動機づける。
• フルパラメータ微調整と LoRA ベースの微調整に基づく Llama-2 を用いた医療 LLM（Med42）を開発・評価する。
• 確立された医療ベンチマークでの性能を評価し、トレーニングの効率とデータ汚染リスクを分析する。
• 最高性能モデルのオープンアクセス展開を提供し、医療AIの進展を促進する。

提案手法

• Stack Exchange の医療フォーラムと選択的な一般ドメイン医療コンテンツから医療指示調整データセットを構築する。
• フルパラメータ微調整と LoRA ベースのパラメータ効率的微調整で 7B および 70B の Llama-2 モデルを微調整する。
• システム/プロンプト/アシスタントのサンプルを連結してマスク損失を適用し、応答トークンのみを自己回帰的に訓練する。
• AdamW をコサイン LR スケジュール、ウォームアップ、標準正則化で使用； FP-FT と LoRA のエポック数と学習率を指定。
• Eleuther AI の評価ハーネスを用いてさまざまな医療ベンチマークでゼロショット性能を評価し、汚染サンプルのデコンタミネーションを行う。
• 再現性とオープン研究のために Med42（70B）を HuggingFace で公開する。

Figure 1: Performance of 7-billion (left) and 70-billion (right) parameter models on various medical-related benchmark datasets (in zero-shot setting). Performance results (accuracy) are displayed in % for the base and fine-tuned models.

実験結果

リサーチクエスチョン

• RQ1 全パラメータ微調整と LoRA ベースのパラメータ効率的微調整は、医療 QA と推論タスクでどのように比較されるか？
• RQ2 モデルサイズ（7B 対 70B）は、医療領域における全パラメータ微調整と LoRA 微調整の相対的利得に影響を与えるか？
• RQ3 データセットのデコンタミネーションは、報告されるベンチマーク性能にどのような影響を与えるか？
• RQ4 Med42 は標準ベンチマークと USMLE 風の質問で他のオープン医療 LLM と比較してどうか？

主な発見

• 微調整済みモデルは、医療ベンチマーク全体でベースモデルより優れている。
• 全パラメータ微調整は概ねほとんどのデータセットで LoRA より上回る。
• LoRA は全パラメータ微調整に近い性能を発揮し、資源効率の高い代替案として有効。
• デコンタミネーションは大規模な微調整モデルの精度に小さな変化しかもたらさず、結果の頑健性を示す。
• Med42-70B は USMLE 関連タスクで強力なゼロショット性能を発揮し、比較でいくつかのオープン医療 LLM より優れている。
• 本研究はオープンライセンスと再現性を強調し、Med42 と評価フレームワークを公開している。

Figure 2: Accuracy change after decontamination for both (70b) fine-tuned models (shown in %).