[論文レビュー] Med42-v2: A Suite of Clinical LLMs

Christophe Clément, Praveen K Kanithi+3 more|arXiv (Cornell University)|Aug 12, 2024

Health and Medical Research Impacts被引用数 9

ひとこと要約

Med42-v2 は、Llama3 を基盤とする臨床用 LLM のスイートで、医療データと多段階の整列でファインチューニングされ、ベースの Llama3 および GPT-4 を医療ベンチマークで凌駕します。

ABSTRACT

Med42-v2 introduces a suite of clinical large language models (LLMs) designed to address the limitations of generic models in healthcare settings. These models are built on Llama3 architecture and fine-tuned using specialized clinical data. They underwent multi-stage preference alignment to effectively respond to natural prompts. While generic models are often preference-aligned to avoid answering clinical queries as a precaution, Med42-v2 is specifically trained to overcome this limitation, enabling its use in clinical settings. Med42-v2 models demonstrate superior performance compared to the original Llama3 models in both 8B and 70B parameter configurations and GPT-4 across various medical benchmarks. These LLMs are developed to understand clinical queries, perform reasoning tasks, and provide valuable assistance in clinical environments. The models are now publicly available at \href{https://huggingface.co/m42-health}{https://huggingface.co/m42-health}.

研究の動機と目的

• 医療分野における汎用 LLM の限界に対処し、臨床適合型モデルを構築する。
• 臨床的有用性を高めるため、Llama3/3.1 を専門的な医療データでファインチューニングする。
• 実世界の医療プロンプトに対応するため、マルチステージの好みの整列を適用する。
• 医療ベンチマーク全般で、ベースモデルおよび GPT-4 より優れた性能を示す。

提案手法

• 二段階トレーニング：臨床指示のファインチューニングを行い、その後好みの整列を行う。
• データ：精選された医療・生物医学データに加え、言語・一般化を改善するための一般ドメインsubsetを26.5%含む。
• 訓練手法：出力トークンのみに対するバックプロパゲーションを用いるオートレグレッシブ損失、8192トークンのチャンク、システム/アシスタント/ユーザのプロンプト形式。
• 好みの整列：UltraFeedback と Snorkel-DPO データセットを用いた好みの整列、反復リウェイトと Direct Preference Optimization (DPO)。
• ファインチューニング（8B/70B）および整列段階のハイパーパラメータが提供され、HuggingFace でモデルを公開。
• Eleuther AI 評価ハーネスを用いた標準的な医療ベンチマークでの評価。

実験結果

リサーチクエスチョン

• RQ1 Med42-v2 モデルは、標準的な医療ベンチマークにおいて、ベースの Llama3 および GPT-4 と比較してどのような性能を示すか？
• RQ2 二段階プロセス（指示のファインチューニング + 多段階の好みの整列）は、応答の臨床的有用性と安全性を向上させるか？
• RQ3 8Bおよび70Bパラメータ構成は、医療推論と事実的一致性においてどう比較されるか？
• RQ4 医療ドメインデータと一般ドメインデータの混合が、実際の臨床クエリ処理に与える影響は？

主な発見

• Med42-v2 は、複数の医療ベンチマークにおいて、元の Llama3 モデル（8Bおよび70B）および GPT-4 を上回りました。
• 大型モデル（70B）は性能が強く、ゼロショット評価の複数のデータセットで GPT-4 を上回ることがある。
• 臨床指示と整列は医療文脈での理解と推論の向上に寄与し、より安全で有用な臨床応答を実現。
• UltraFeedback と Snorkel-DPO による整列は、完全な強化学習ループなしでスケーラブルで安定した調整を可能にする。
• 本結果はゼロショット評価に基づくものであり、実世界の臨床的有用性はさらなる評価が必要。