[論文レビュー] Aloe: A Family of Fine-tuned Open Healthcare LLMs

Ashwin Kumar Gururajan, Enrique Lopez-Cuena+11 more|arXiv (Cornell University)|May 3, 2024

Phytochemistry and biological activity of medicinal plants被引用数 6

ひとこと要約

本論文は Aloe というオープンな医療系 LLM の家族を提示する。これはオープンなベースモデルを微調整し、合成データ、モデル統合、アラインメントを取り入れて、7B規模の医療系 LLM において最先端の性能を達成すると同時に、レッドチーミングと DPO アラインメントを通じて倫理と安全性にも対応する。

ABSTRACT

As the capabilities of Large Language Models (LLMs) in healthcare and medicine continue to advance, there is a growing need for competitive open-source models that can safeguard public interest. With the increasing availability of highly competitive open base models, the impact of continued pre-training is increasingly uncertain. In this work, we explore the role of instruct tuning, model merging, alignment, red teaming and advanced inference schemes, as means to improve current open models. To that end, we introduce the Aloe family, a set of open medical LLMs highly competitive within its scale range. Aloe models are trained on the current best base models (Mistral, LLaMA 3), using a new custom dataset which combines public data sources improved with synthetic Chain of Thought (CoT). Aloe models undergo an alignment phase, becoming one of the first few policy-aligned open healthcare LLM using Direct Preference Optimization, setting a new standard for ethical performance in healthcare LLMs. Model evaluation expands to include various bias and toxicity datasets, a dedicated red teaming effort, and a much-needed risk assessment for healthcare LLMs. Finally, to explore the limits of current LLMs in inference, we study several advanced prompt engineering strategies to boost performance across benchmarks, yielding state-of-the-art results for open healthcare 7B LLMs, unprecedented at this scale.

研究の動機と目的

• 公衆の利益を守る競争力のあるオープンLLMを開発することによって、医療AIにおけるオープンサイエンスを推進する。
• オープンな医療LLMに対する指示調整、モデル統合、アラインメントの有効性を調査する。
• レッドチーミング、DPOアラインメント、リスク評価を通じて倫理・偏り・安全性の側面を評価する。
• 再現性と責任ある導入を可能にするため、トレーニングデータ、統合設定、プロンプト戦略を共有する。

提案手法

• ドメイン固有の医療指示データと合成されたCoT強化データを用いて、オープンベースモデル（Mistral-7B および Llama 3-8B）を微調整し、Aloe 系列を作成する。
• 複数のベース/サブモデルの長所を組み合わせるためにモデル統合（DARE-TIES）を適用し、統合済みの 7B-8B サイズのモデルを得る。
• レッドチーミングを想起させるデータセットを含む2段階の Direct Preference Optimization (DPO) アラインメントを実行し、安全性と倫理的挙動を改善する。
• 推論時に高度なプロンプト戦略（Medprompting、自己一貫性CoT、埋め込みを用いたFew-shot）を探索し、医療ベンチマークの性能を向上させる。
• DPOアラインドモデルを CC-BY-NC 4.0 の下で公開し、再現性と安全性分析を支援するために統合設定と prompting レポジトリを共有する。

実験結果

リサーチクエスチョン

• RQ1 指示調整、合成データ、モデル統合は約7B規模のオープン医療LLMの性能にどのような影響を与えるか？
• RQ2 アラインメント（DPO）とレッドチーミングは、医療精度を犠牲にすることなく、オープン医療LLMの安全性・偏り・事実性を改善できるか？
• RQ3 このサイズで高度な prompting 戦略はオープン医療LLMのベンチマークを大幅に向上させるか？
• RQ4 Aloe ファミリーにおけるモデルサイズ・性能・安全性のトレードオフはどうなるか？

主な発見

• Aloe は、モデル統合と高度な prompting を用いた場合、7B のオープン医療モデルで最先端の結果を達成する。
• DPO アラインメントは安全でない応答を減らし、倫理と事実性の指標を改善するが、より大きなモデルは特定の設定で偏見と有害性が高いままになる可能性がある。
• Medprompting とアンサンブルを用いた自己一貫 prompting は医療ベンチマークの精度を大幅に向上させ、一定のアンサンブルサイズを超えると利得は減少する。
• Aloe-Llama3-8B-Alpha はいくつかのより大きなオープンモデルを上回り、複数の医療ベンチマークでより大きな民間モデルの性能に近づく。
• 本論文は DPO-aligned モデルとトレーニング/統合設定の公開リリースを提供し、再現性と安全性重視の研究を支援する。