[論文レビュー] JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning

Issey Sukeda, Masahiro Suzuki+2 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、LoRAに基づくインstructチューニングを用いて、大規模言語モデルを日本語医療分野に適応させる手法であるJMedLoRAを提案する。インストラクションチューニングを用いて、Llama2-70Bのような英語中心の大きなモデルを微調整することで、日本語医療QAタスクにおける性能が顕著に向上することが示された。一方、追加事前学習や複数エポックの微調整は結果を悪化させることが判明し、臨床現場への適用に向けた効率的で1エポックのみのチューニングの重要性が浮き彫りになった。

ABSTRACT

In the ongoing wave of impact driven by large language models (LLMs) like ChatGPT, the adaptation of LLMs to medical domain has emerged as a crucial research frontier. Since mainstream LLMs tend to be designed for general-purpose applications, constructing a medical LLM through domain adaptation is a huge challenge. While instruction-tuning is used to fine-tune some LLMs, its precise roles in domain adaptation remain unknown. Here we show the contribution of LoRA-based instruction-tuning to performance in Japanese medical question-answering tasks. In doing so, we employ a multifaceted evaluation for multiple-choice questions, including scoring based on "Exact match" and "Gestalt distance" in addition to the conventional accuracy. Our findings suggest that LoRA-based instruction-tuning can partially incorporate domain-specific knowledge into LLMs, with larger models demonstrating more pronounced effects. Furthermore, our results underscore the potential of adapting English-centric models for Japanese applications in domain adaptation, while also highlighting the persisting limitations of Japanese-centric models. This initiative represents a pioneering effort in enabling medical institutions to fine-tune and operate models without relying on external services.

研究の動機と目的

• LoRAに基づくインストラクションチューニングが、日本語LLMにドメイン特化した医療知識を効果的に統合できるかを調査すること。
• 大規模な英語中心のモデル（例：Llama2-70B）と小規模な日本語中心のモデル（例：OpenCALM-7B）を用いた医療分野への適応性能を比較すること。
• 低データ環境下における、追加事前学習および微調整エポック数の増加がモデル性能に与える影響を評価すること。
• 医療機関が外部サービスに依存せずに、プライバシーを守りつつLLMを微調整・デプロイできる実用的かつプライバシーに配慮した手法を開発すること。

提案手法

• パラメータ効率的なチューニングのため、Low-Rank Adaptation（LoRA）およびその量子化版（QLoRA）を用いて、OpenCALM-7BおよびLlama2-70B-chat-hfを微調整した。
• 2,420件の例を含むカスタムの日本語医療インストラクションチューニングデータセットを構築し、訓練用と評価用（50件）に分ける。データ形式は複数選択式の医療質問である。
• 過学習や性能低下が観察された複数エポックのトレーニングを避けるために、1エポック（1,000ステップ）のインストラクションチューニングを適用した。
• 正確一致、正答率、意味的正確性を評価するためのゲスタルト距離を含む複数のメトリクスを用いてモデルを評価した。
• 医療テキストにおける追加事前学習の有無を比較するアブレーションスタディを実施し、0-shotと1-shotの推論性能を評価した。
• 再現性および臨床機関における利用可能性を確保するため、Hugging Faceホスティングのモデルを用い、NVIDIA A100 GPUでトレーニングを行った。

実験結果

リサーチクエスチョン

• RQ1 LoRAに基づくインストラクションチューニングは、日本語LLMにドメイン特化した医療知識をどの程度効果的に統合できるか？
• RQ2 大規模な英語中心のLLMは、小規模な日本語中心のLLMよりも医療分野への適応タスクで優れた性能を示すか？
• RQ3 微調整エポック数の増加、または追加事前学習を施すことで、医療QAタスクの性能が向上するか？
• RQ4 インストラクションチューニングは、特にゼロショット性能と比較して、モデルの1ショット一般化能力にどのように影響を与えるか？

主な発見

• LoRAに基づくインストラクションチューニングは、日本語医療QAタスクにおける性能を顕著に向上させた。特にLlama2-70Bのような大規模モデルでは、小規模モデルよりも顕著な向上が見られた。
• 1エポックのインストラクションチューニング（1,000ステップ）は、複数エポックのトレーニングに比べて優れた結果をもたらした。複数エポックのトレーニングでは過学習が原因で性能が低下した。
• 医療テキストにおける追加事前学習は性能向上に寄与せず、特にデータが限られた環境下では結果を悪化させる可能性があった。
• 元のOpenCALM-7Bモデルはインストラクションチューニング後に1ショット推論能力を失った一方、Llama2-70Bはそれを保持した。これは一般化行動における重要な差異を示している。
• 正確一致とゲスタルト距離の両方のメトリクスから、モデルは正確な一致がない状態でも意味的に正しい回答を生成できることを示した。これは、評価において厳密な一致を求める手法の限界を浮き彫りにした。
• 日本語中心のモデルに依存するのではなく、英語中心の大規模モデルをベースに用いることで、日本語医療適応がより効果的であることが示された。これは、多言語間転送の可能性を示唆している。