[論文レビュー] IvyGPT: InteractiVe Chinese pathwaY language model in medical domain

Rongsheng Wang, Yaofei Duan+7 more|arXiv (Cornell University)|Jul 20, 2023

Topic Modeling被引用数 4

ひとこと要約

IvyGPT は、高品質で現実の医師-患者QAデータを用いて、教師あり微調整（SFT）および人間のフィードバックからの強化学習（RLHF）により微調整された 330 億パラメータの中国語医療言語モデルである。低リソース効率性を実現するため QLoRA を用いて訓練された本モデルは、人間の医師の応答との間で 93.58 の最先端の意味的類似度を達成し、応答の豊かさと医学的正確性において既存のモデルを上回っている。

ABSTRACT

General large language models (LLMs) such as ChatGPT have shown remarkable success. However, such LLMs have not been widely adopted for medical purposes, due to poor accuracy and inability to provide medical advice. We propose IvyGPT, an LLM based on LLaMA that is trained and fine-tuned with high-quality medical question-answer (QA) instances and Reinforcement Learning from Human Feedback (RLHF). After supervised fine-tuning, IvyGPT has good multi-turn conversation capabilities, but it cannot perform like a doctor in other aspects, such as comprehensive diagnosis. Through RLHF, IvyGPT can output richer diagnosis and treatment answers that are closer to human. In the training, we used QLoRA to train 33 billion parameters on a small number of NVIDIA A100 (80GB) GPUs. Experimental results show that IvyGPT has outperformed other medical GPT models.

研究の動機と目的

• 一般向けモデルが臨床的正確性および文化的適合性において抱える制限を解消する中国語医療保健状況に特化した医療言語モデルの開発。
• 高忠実度の現実世界の医師-患者会話データを統合することで、医療相談における応答品質の向上。
• 限定されたハードウェア上でも、量子化された低ランク微調整（QLoRA）を用いて大規模医療モデル（330 億パラメータ）を効果的に訓練可能にする。
• 人間のフィードバックからの強化学習（RLHF）を活用し、応答の包括性と臨床的整合性を向上。
• 中国語医療分野におけるAI生成応答と人間医師の応答との間の意味的類似度を評価するベンチマークの確立。

提案手法

• 本モデルは LLaMA をベースとし、307,038 組の高品質中国語医療QAペアから構成される選別済みデータセットを用いて教師あり微調整（SFT）で微調整された。
• 応答品質を評価するためのレーティングモデルを、アノテーターがモデル出力を評価した好みのデータを用いて訓練した。
• 人間のフィードバックからの強化学習（RLHF）を適用し、応答生成を最適化することで、深さと臨床的関連性が向上した。
• 330 億パラメータのモデルを 4 ビット量子化を用いた QLoRA を用いて微調整し、1 枚の 80GB A100 GPU 上での訓練を可能にした。
• 訓練パイプラインには、GPT-4 を用いたデータフィルタリングが含まれており、文法的誤りや常識的誤りの是正が行われ、データ品質が保証された。
• 意味的類似度は、モデル出力と人間医師の応答との間で単語埋め込み（word2vec）とコサイン類似度を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 本研究で提示された実際の医師-患者会話データに微調整された大規模言語モデルは、既存のモデルと比較して、人間医師の応答との意味的類似度が高くなるか？
• RQ2 教師あり微調整に比べ、RLHF が医療応答の臨床的深さと包括性をどの程度向上させるか？
• RQ3 4 ビット量子化を用いた QLoRA を用いることで、限定されたハードウェア上でも 330 億パラメータの医療言語モデルを効果的に訓練できるか？
• RQ4 訓練データの質と現実性は、正確で文脈に即した医療応答を生成する能力にどの程度影響を与えるか？
• RQ5 医療言語モデルにおいて、応答長さと情報の豊かさのトレードオフは何か？また、RLHF はこのトレードオフにどのように影響を与えるか？

主な発見

• IvyGPT は人間医師の応答との意味的類似度スコアが 93.58 を達成し、ChatMed（84.51） や MedicalGPT（83.73）といったベースラインモデルを大きく上回った。
• 本モデルは平均 271.05 語の応答を生成しており、他の中国語医療言語モデルと比較して情報カバレッジが豊富であることが示された。
• 強化学習の導入により、応答の長さと深さが顕著に向上し、包括的な医療助言を提供する能力が向上したことが確認された。
• QLoRA を用いることで、330 億パラメータのモデルを 1 枚の 80GB A100 GPU 上で効率的に微調整可能となり、フル微調整や標準的な LoRA と比較して、トレーニング時間とメモリ使用量が削減された。
• 本モデルは多様な医療状況においても安定した性能を示し、複数ターンで複雑な医療クエリに対しても優れた一般化能力を示した。
• GPT-4 の検証を経た 307,038 組の現実の医師-患者QAペアから構成されるデータセットは、本モデルの高い事実的正確性と臨床的適合性に寄与している。