[論文レビュー] HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge

Haochun Wang, Chi Liu+5 more|arXiv (Cornell University)|Apr 14, 2023

Topic Modeling被引用数 94

ひとこと要約

HuaTuoは、CMeKG由来の知識ベース指示データで調整された医療知識の信頼性を向上させる中国語医療QA向けのLLaMA-7Bベースのオープンソース中国語生体医 LL M。

ABSTRACT

Large Language Models (LLMs), such as the LLaMA model, have demonstrated their effectiveness in various general-domain natural language processing (NLP) tasks. Nevertheless, LLMs have not yet performed optimally in biomedical domain tasks due to the need for medical expertise in the responses. In response to this challenge, we propose HuaTuo, a LLaMA-based model that has been supervised-fine-tuned with generated QA (Question-Answer) instances. The experimental results demonstrate that HuaTuo generates responses that possess more reliable medical knowledge. Our proposed HuaTuo model is accessible at https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese.

研究の動機と目的

• 中国語言語環境における一般ドメインのLLMの医療分野での正確性のギャップを解消する。
• CMeKGからの構造化・非構造化の中国語医療知識を活用してモデルの調整を導く。
• 監督付きファインチューニングのための知識ベース指示データを作成・活用して事実正確性を向上させる。
• 安全性・使いやすさ・滑らかさを評価するドメイン特化評価指標（SUS）を導入する。

提案手法

• 基盤モデルとしてLLaMA-7Bを使用する。
• 中国語医療知識グラフ(CMeKG)からの構造化・非構造化知識を組み込む。
• 知識グラフ知識から8,000件超の指示データを生成して監督付きファインチューニングに用いる。
• 医療ドメインの事実と整合するよう、指示データ駆動の監督付きファインチューニングを実施する。
• 生物医療回答における安全性・使いやすさ・滑らかさを評価するSUS指標を開発・適用する。
• 中国語の医療生物対話タスクで HuaTuo をベースラインの LLaMA、Alpaca、ChatGLM と比較する。

実験結果

リサーチクエスチョン

• RQ1 CMeKGベースの知識を組み込むことで、中国語の医療QAにおける医療知識の有用性は向上するか。
• RQ2 中国語の医療対話タスクにおける安全性・使いやすさ・滑らかさの観点で HuaTuo は LLaMA、Alpaca、ChatGLM とどう比較されるか。
• RQ3 知識ベース指示データが生物医療の事実性と信頼性に与える影響は何か。
• RQ4 ドメイン知識で調整しても安全性を損なわずに、オープンソースの中国語医療LLMを効果的に調整できるか。

主な発見

Model	Safety	Usability	Smoothness
LLaMA	2.93	1.21	1.58
Alpaca	2.64	2.05	2.30
ChatGLM	2.59	1.93	2.41
HuaTuo (华驼)	2.88	2.12	2.47

• HuaTuoは、ベースラインと比較して医療分野の回答の使いやすさを向上させつつ安全性を維持する。
• SUS評価では、HuaTuoはSafetyが2.88、Usabilityが2.12、Smoothnessが2.47を示し、使いやすさと滑らかさの点で Alpaca および ChatGLM に近づくか上回る。
• LLaMAは最も高い安全性スコアを得る一方、情報量が少なく使いやすさが低下する。
• 知識ベース指示ファインチューニングを通じて HuaTuo はより信頼性の高い医療知識を示す。
• モデルは提供されたGitHubリポジトリでオープンソースとして公開される。
• SUSベースの評価は、従来のBLEU/Rouge指標を超えたドメイン関連の評価を強調する。