[論文レビュー] ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model Meta-AI (LLaMA) Using Medical Domain Knowledge

Yunxiang Li, Li Zihan+4 more|arXiv (Cornell University)|Mar 24, 2023

Machine Learning in Healthcare被引用数 33

ひとこと要約

ChatDoctorは100kの実際の患者-医師対話でLLaMAをファインチューニングし、オンライン/オフラインの外部知識取得から自律的な知識取得を装備させ、ChatGPTと比較して医療回答の正確性を向上させる。

ABSTRACT

The primary aim of this research was to address the limitations observed in the medical knowledge of prevalent large language models (LLMs) such as ChatGPT, by creating a specialized language model with enhanced accuracy in medical advice. We achieved this by adapting and refining the large language model meta-AI (LLaMA) using a large dataset of 100,000 patient-doctor dialogues sourced from a widely used online medical consultation platform. These conversations were cleaned and anonymized to respect privacy concerns. In addition to the model refinement, we incorporated a self-directed information retrieval mechanism, allowing the model to access and utilize real-time information from online sources like Wikipedia and data from curated offline medical databases. The fine-tuning of the model with real-world patient-doctor interactions significantly improved the model's ability to understand patient needs and provide informed advice. By equipping the model with self-directed information retrieval from reliable online and offline sources, we observed substantial improvements in the accuracy of its responses. Our proposed ChatDoctor, represents a significant advancement in medical LLMs, demonstrating a significant improvement in understanding patient inquiries and providing accurate advice. Given the high stakes and low error tolerance in the medical field, such enhancements in providing accurate and reliable information are not only beneficial but essential.

研究の動機と目的

• 実世界の患者-医師の会話データで言語モデルをファインチューニングして医療対話の正確性を向上させる。
• リアルタイム情報検索のための外部知識ブレイン（オンライン/オフライン）を統合して信頼性を強化する。
• 医療クエリにおける精度、再現率、F1で一般ドメインモデル（ChatGPT）を上回る改善を示す。

提案手法

• HealthCareMagic-100kの患者-医師対話に対して，Alpacaスタイルの指示チューニングに従ってLLaMA-7Bをファインチューニングする。
• MedlinePlus由来の疾病データとWikipediaなどの補助ソースから外部知識ブレインを作成する。
• クエリからキーワードを抽出して知識取得を行う自律的なキーワードマイニングプロンプトを開発する。
• 取得された知識を含むセクション化されたテキストを用い、トークン制限付きの処理を行うトップランクのキーワード駆動検索システムを実装する。
• モデルに取得された知識セクションを読ませ、最終的な情報に基づく回答を生成させるプロンプトを作成する。
• 人間の医師の回答をグラウンドトゥルースとして用い、iCliniq由来の質問で評価し、Precision、Recall、F1にはBERTScoreを適用する。

実験結果

リサーチクエスチョン

• RQ1 医療ドメインに特化したLLMは一般ドメインモデル（ChatGPT）より医療対話タスクで優れているか。
• RQ2 自律的な外部知識取得機構を追加することで医療質問の回答精度と最新性は向上するか。
• RQ3 訓練セットに含まれない比較的新しい用語や疾患（例: Mpox, Daybue）のクエリに対してChatDoctorはどの程度機能するか。

主な発見

モデル	精度	再現率	F1	P値
ChatGPT	0.837±0.0188	0.8445±0.0164	0.8406±0.0143
ChatDoctor	0.8444±0.0185	0.8451±0.0157	0.8446±0.0138

• ChatDoctorは報告された評価においてBERTScoreのPrecision、Recall、F1でChatGPTを上回る。
• 自律的な知識取得により、新しい用語（例: Mpox）や新しく承認された薬剤（例: Daybue）への正答が得られる。
• 定性的な例は、ChatDoctorが複数のシナリオでChatGPTより専門的で裏付けのある医療指導を提供することを示している。
• モデルはFine-tuningにHealthCareMagic-100kを、テストデータにiCliniqを使用しており、提示された指標で改善を示している。