[論文レビュー] From Beginner to Expert: Modeling Medical Knowledge into General LLMs

Qiang Li, Xiaoyan Yang+15 more|arXiv (Cornell University)|Dec 2, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、一般向け100億パラメータのLLM（AntGLM-10B）を、医学分野の専門家（AntGLM-Med-10B）に変換する3段階のファインチューニングフレームワークを提案する。継続的プレトレーニングによる医学的知識のインジェクション、ドメイン特化のインstructチューニング、およびタスク特化の適応を含む。本手法は、複数選択の推論に特化した新しい「選択肢の検証（Verification-of-Choice）」プロンプト戦略を用いることで、PubMedQAで、400億パラメータを超える多くの大規模LLMを上回る最先端の性能を達成した。

ABSTRACT

Recently, large language model (LLM) based artificial intelligence (AI) systems have demonstrated remarkable capabilities in natural language understanding and generation. However, these models face a significant challenge when it comes to sensitive applications, such as reasoning over medical knowledge and answering medical questions in a physician-like manner. Prior studies attempted to overcome this challenge by increasing the model size (>100B) to learn more general medical knowledge, while there is still room for improvement in LLMs with smaller-scale model sizes (<100B). In this work, we start from a pre-trained general LLM model (AntGLM-10B) and fine-tune it from a medical beginner towards a medical expert (called AntGLM-Med-10B), which leverages a 3-stage optimization procedure, i.e., general medical knowledge injection, medical domain instruction tuning, and specific medical task adaptation. Our contributions are threefold: (1) We specifically investigate how to adapt a pre-trained general LLM in medical domain, especially for a specific medical task. (2) We collect and construct large-scale medical datasets for each stage of the optimization process. These datasets encompass various data types and tasks, such as question-answering, medical reasoning, multi-choice questions, and medical conversations. (3) Specifically for multi-choice questions in the medical domain, we propose a novel Verification-of-Choice approach for prompting engineering, which significantly enhances the reasoning ability of LLMs. Remarkably, by combining the above approaches, our AntGLM-Med-10B model can outperform the most of LLMs on PubMedQA, including both general and medical LLMs, even when these LLMs have larger model size.

研究の動機と目的

• モデルサイズの拡大に依存せずに、一般用途LLMを医学的専門性へ適応させるギャップを埋める。
• 一般用途LLMを医学的専門家に変換する体系的でマルチステージのファインチューニング手順を開発する。
• 各適応段階に対応する、QA、推論、複数選択、医学的会話をカバーする多様で大規模な医学的データセットを構築する。
• 「選択肢の検証（Verification-of-Choice）」という新しいプロンプト技術により、複数選択の医学的推論における推論能力を向上させる。
• 小さな、良好にファインチューニングされたLLMが、医学ベンチマークタスクにおいて、大規模で専門特化型のLLMを上回ることを実証する。

提案手法

• 大規模な医学テキストに対して継続的プレトレーニングを適用し、ベースLLMに基礎的医学知識をインジェクションする。
• QA、推論、複数選択タスクを含む多様な指示従いデータを用いて、医学ドメイン特化のインstructチューニングを実施する。
• 特定の医学ベンチマーク上でタスク特化のファインチューニングを実施し、モデルのエキスパートレベルのパフォーマンスをキャリブレーションする。
• 「選択肢の検証（Verification-of-Choice）」プロンプト手法を導入し、最終選択の前に各選択肢を独立して評価することで、推論を構造化する。
• 複数のデータセットと複数のタスクを統合したトレーニング戦略（CPoly）を用い、PubMedQAにおける汎化性能とパフォーマンスを向上させる。
• パラメータ効率の良いファインチューニング（LoRA）を活用し、計算コストを最小限に抑えながら各段階でモデルを効率的に適応させる。

実験結果

リサーチクエスチョン

• RQ1 小さな一般用途LLMは、構造的でマルチステージのファインチューニングによって、医学的専門家に効果的に変換可能か？
• RQ2 医学コーパスに対する継続的プレトレーニングは、モデルの基礎的医学的知識をどのように向上させるか？
• RQ3 ドメイン特化のインstructチューニングは、医学LLMにおける推論能力とタスク一般化能力をどの程度向上させるか？
• RQ4 「選択肢の検証（Verification-of-Choice）」のような新しいプロンプト戦略は、標準的なプロンプトに比べて、複数選択の医学的推論を顕著に改善できるか？
• RQ5 良好に最適化された小さなLLM（100億パラメータ）は、医学的質問応答ベンチマークにおいて、大規模で専門特化型のLLMを上回るか？

主な発見

• AntGLM-Med-10BはPubMedQAで最先端のパフォーマンスを達成し、400億パラメータを超える多くのLLMを上回った。
• 継続的プレトレーニング、インstructチューニング、タスク特化の適応からなる3段階のファインチューニングパイプラインは、各段階で一貫的かつ顕著なパフォーマンス向上をもたらした。
• 「選択肢の検証（Verification-of-Choice）」プロンプト手法は、選択肢ごとの検証を可能にすることで、論理的完全性を高め、複数選択の医学的推論を向上させた。
• 複数データセット・複数タスクトレーニング（CPoly）は、単一データセットのファインチューニングに比べ顕著にパフォーマンスを向上させ、含めるデータセットが増えるほど性能が向上した。
• LoRAベースのファインチューニングは、同じデータセット上で標準的なファインチューニングよりも優れたパフォーマンスを示し、パラメータ効率の良い適応の有効性を示した。
• モデルは医学的推論およびQAタスクにおいて、ゼロショットおよびフェイントショットの一般化能力が強く、トレーニングデータからの強力な知識抽出（知識蒸留）を示した。