[論文レビュー] Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding

Augustin Toma, Patrick R. Lawler+4 more|arXiv (Cornell University)|May 19, 2023

Artificial Intelligence in Healthcare and Education被引用数 35

ひとこと要約

Clinical Camel は、Q LoRA を用いて LLaMA-2 からファインチューニングしたオープンな専門家レベルの医療 LLM で、オープンな医療 LLM の中で最先端の性能を達成し、いくつかのベンチマークで GPT-3.5 を上回り dense な医療テキストを会話へ変換する対話型知識エンコーディングを新規に用いる。

ABSTRACT

We present Clinical Camel, an open large language model (LLM) explicitly tailored for clinical research. Fine-tuned from LLaMA-2 using QLoRA, Clinical Camel achieves state-of-the-art performance across medical benchmarks among openly available medical LLMs. Leveraging efficient single-GPU training, Clinical Camel surpasses GPT-3.5 in five-shot evaluations on all assessed benchmarks, including 64.3% on the USMLE Sample Exam (compared to 58.5% for GPT-3.5), 77.9% on PubMedQA (compared to 60.2%), 60.7% on MedQA (compared to 53.6%), and 54.2% on MedMCQA (compared to 51.0%). In addition to these benchmarks, Clinical Camel demonstrates its broader capabilities, such as synthesizing plausible clinical notes. This work introduces dialogue-based knowledge encoding, a novel method to synthesize conversational data from dense medical texts. While benchmark results are encouraging, extensive and rigorous human evaluation across diverse clinical scenarios is imperative to ascertain safety before implementation. By openly sharing Clinical Camel, we hope to foster transparent and collaborative research, working towards the safe integration of LLMs within the healthcare domain. Significant challenges concerning reliability, bias, and the potential for outdated knowledge persist. Nonetheless, the transparency provided by an open approach reinforces the scientific rigor essential for future clinical applications.

研究の動機と目的

• 研究と安全な臨床展開のためのオープンで高性能な医療 LLM の必要性を動機づける。
• Clinical Camel をオープンな代替として提示し、標準的な医療ベンチマークで独自モデルに対抗する。
• Dense な医療文献を対話データに変換するための DBKE (Dialogue-Based Knowledge Encoding) の導入。
• 単一 GPU で QLoRA を用いて 13B および 70B パラメータのバリアントを効率的にファインチューニングする。

提案手法

• 商用GPU1台上で人間の入力をマスクすることで LLaMA-2（13B および 70B）を QLoRA でファインチューニングする。
• Dense clinical texts を teacher-student ファインチューニング設定で multi-turn dialogues に変換する DBKE を開発。
• ShareGPT、MedQA、PubMed/Open-access clinical articles pre-2021 を対話へ変換してトレーニングデータを作成。
• 1 エポック、4096 トークンシーケンス、64 LoRA ランクをモジュール全体で使用して訓練。
• EleutherAI 評価フレームワークを用いて零-shotおよび五-shot 医学ベンチマークの正確さを報告する。

実験結果

リサーチクエスチョン

• RQ1 効率的なファインチューニングでオープンな医療 LLM は標準的な医療ベンチマークで GPT-3.5 に匹敵するか、または上回るか？
• RQ2 Dialog-Based Knowledge Encoding 手法はドメイン固有の医療テキストのリコールと対話性能を向上させるか？
• RQ3 医療 QA ベンチマークでオープンな医療 LLM とトップの独自モデル（GPT-4、Med-PaLM 2）との間にどの程度の性能格差があるか？
• RQ4 単一 GPU で高性能な医療 LLM を訓練しつつ、競争力のあるコンテキスト長と能力を維持することは可能か？

主な発見

• 五-shot 評価では Clinical Camel は GPT-3.5 をすべての評価ベンチマークで上回る：USMLE Sample Exam 64.3% vs 58.5%、PubMedQA 77.9% vs 60.2%、MedQA 60.7% vs 53.6%、MedMCQA 54.2% vs 51.0%。
• Clinical Camel は zero-shot および five-shot の設定で複数の MMLU 医療ドメインで GPT-3.5 を上回る一方、全体としては GPT-4 および Med-PaLM 2 には及ばない。
• PubMedQA では five-shot 評価で Clinical Camel が GPT-4 を上回る（GPT-4 のスコアは 74.4、Med-PaLM 2 は 79.2、Clinical Camel は 77.9）。
• 長い対話から現実的な臨床ノートを生成できるように長い文脈（4096 トークン）をサポート。
• DBKE は密度の高い医療文献を対話へ変換し、モデルのリコールと整合性を向上させつつデータと計算リソースの要件を削減する。