[論文レビュー] When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications

Qidong Liu, Xian Wu+5 more|arXiv (Cornell University)|Oct 21, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、Mixture-of-Experts (MoE) と LoRA を組み合わせることで、医療大規模言語モデルにおける効率的なマルチタスク学習を可能にする、パラメータ効率的微調整フレームワーク MOELoRA を提案する。タスクに適したゲート関数と低ランクエキスパート行列を用いることで、訓練可能なパラメータを最小限に抑えながら、多様な医療タスクで優れた性能を達成し、既存の PEFT メソッドを上回る。中国語マルチタスク医療ベンチマークでも優れた結果を示した。

ABSTRACT

The recent surge in Large Language Models (LLMs) has garnered significant attention across numerous fields. Fine-tuning is often required to fit general LLMs for a specific domain, like the web-based healthcare system. However, two problems arise during fine-tuning LLMs for medical applications. One is the task variety problem, which involves distinct tasks in real-world medical scenarios. The variety often leads to sub-optimal fine-tuning for data imbalance and seesaw problems. Besides, the large amount of parameters in LLMs leads to huge time and computation consumption by fine-tuning. To address these two problems, we propose a novel parameter efficient fine-tuning framework for multi-task medical applications, dubbed as MOELoRA. The designed framework aims to absorb both the benefits of mixture-of-expert (MOE) for multi-task learning and low-rank adaptation (LoRA) for parameter efficient fine-tuning. For unifying MOE and LoRA, we devise multiple experts as the trainable parameters, where each expert consists of a pair of low-rank matrices to retain the small size of trainable parameters. Then, a task-motivated gate function for all MOELoRA layers is proposed, which can control the contributions of each expert and produce distinct parameters for various tasks. We conduct experiments on a multi-task medical dataset, indicating MOELoRA outperforms the existing parameter efficient fine-tuning methods. The code is available online.

研究の動機と目的

• マルチタスク医療応用における LLM の微調整における、タスクの多様性と高い微調整コストという二重の課題に対処すること。
• タスク固有の知識学習に適した Mixture-of-Experts (MoE) とパラメータ効率性に優れた LoRA の利点を統合すること。
• 低ランクエキスパートとタスクに適したゲート関数を備えた訓練可能なアーキテクチャを設計し、各タスクごとにエキスパートの寄与を動的に割り当てること。
• 実世界のマルチタスク中国語医療データセット上で、フレームワークの有効性と効率性を検証すること。
• 計算コストを最小限に抑えながら、効率的かつマルチタスクに適した医療 LLM の実装を可能にする実用的でオープンソースのソリューションを提供すること。

提案手法

• 複数の低ランクエキスパート行列を訓練可能なパラメータとして導入し、フル微調整に代わる。
• 各エキスパートは、LoRA のインスピレーションを受けて、低ランク行列のペアで構成され、パラメータ効率性を維持する。
• 各入力タスクごとにエキスパートの寄与を動的に制御するタスクに適したゲート関数を設計した。
• MoEベースのアーキテクチャにより、異なるタスクが異なるエキスパートの組み合わせを活性化でき、タスク固有の適応が可能になる。
• 事前学習済み LLM の重みを保持し、低ランクエキスパート行列とゲートパラメータのみを微調整する。
• フレームワークはマルチタスク医療データセット上でエンドツーエンドに学習され、推論時には標準的な LLM 推論に追加の計算を必要としない。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率的微調整手法は、パフォーマンスの低下を伴わずに多様な医療タスクを効果的に処理できるか？
• RQ2 マルチタスク医療 LLM の文脈において、タスク固有の知識と共有知識を同時に学習できるか？
• RQ3 MoE と LoRA の統合は、既存の PEFT メソッドよりもマルチタスク医療応用で優れたパフォーマンスを達成できるか？
• RQ4 タスクに適したゲート関数は、多様な医療タスク間での一般化を向上させることができるか？
• RQ5 MOELoRA は、マルチタスク医療ベンチマークでのパフォーマンスを維持または向上させながら、計算コストをどの程度低減できるか？

主な発見

• MOELoRA は、公に提供されているマルチタスク中国語医療データセットにおいて、既存のパラメータ効率的微調整手法を上回り、多様な医療タスクで優れたパフォーマンスを示した。
• 診断予測、薬剤推薦、臨床レポート生成といったタスクにおいても強力なパフォーマンスを達成し、データの不均衡に対しても耐性が向上した。
• タスクに適したゲート関数により、各タスクごとに異なるエキスパートの寄与が適切に割り当てられ、効果的なタスク固有の適応が可能になった一方で、共有知識を維持した。
• 低ランクエキスパート行列の使用により、高いパラメータ効率性が維持され、フル微調整と比較して顕著に微調整コストが削減された。
• エキスパート重みの可視化から、関連するタスク（例：CHIP-CDN と KUAKE-QIC）間で高い類似性が観察され、効果的な知識の転送が実現した。
• 実装は GitHub で公開されており、再現性と今後のフレームワークの拡張が可能である。