[論文レビュー] MedChatZH: a Better Medical Adviser Learns from Better Instructions

Yang Tan, Mingchen Li+3 more|arXiv (Cornell University)|Sep 3, 2023

Topic Modeling被引用数 4

ひとこと要約

MedChatZHは、中国伝統医学（TCM）のテキストおよび医療指示ペairを収集したデータセットで微調整された中国語医療対話モデルであり、ワンターン中国語医療QAで最先端のパフォーマンスを達成している。BLEU、ROUGE-L、GLEUといった自動評価指標および微調整されたレーティングモデルを用いて、ベースラインを上回っている。コード、モデル、データセットはコミュニティ利用のためオープンソースで公開されている。

ABSTRACT

Generative large language models (LLMs) have shown great success in various applications, including question-answering (QA) and dialogue systems. However, in specialized domains like traditional Chinese medical QA, these models may perform unsatisfactorily without fine-tuning on domain-specific datasets. To address this, we introduce MedChatZH, a dialogue model designed specifically for traditional Chinese medical QA. Our model is pre-trained on Chinese traditional medical books and fine-tuned with a carefully curated medical instruction dataset. It outperforms several solid baselines on a real-world medical dialogue dataset. We release our model, code, and dataset on https://github.com/tyang816/MedChatZH to facilitate further research in the domain of traditional Chinese medicine and LLMs.

研究の動機と目的

• 一般向け大規模言語モデル（LLM）が専門分野（中国伝統医学（TCM）など）で性能が低い問題に対処するため、分野特化型対話モデルを構築すること。
• 中国語医療QAの向上を図るため、大規模な中国伝統医学書のコーパスで事前学習し、高品質な指示データで微調整すること。
• 感受性、不適切な内容、口語的表現を含む不要なコンテンツを除去するきめ細やかなデータ収集パイプラインを用いて、医療LLMにおける事実誤認や低品質出力を是正すること。
• 再現可能でオープンソースのモデルおよびデータセットを公開し、中国語医療LLM分野における今後の研究を支援すること。

提案手法

• 中国語特化型LLMを、大規模な中国伝統医学テキストのコレクションで事前学習し、分野特化型の知識を強化すること。
• ヒューリスティックフィルタリング、LLMベースのデータフィルタリング、レーティングモデルスコアリングを含む段階的なパイプラインを用いて、高品質な医療指示データセットを収集し、関連性のない、感受性の高い、または低品質なコンテンツを除去すること。
• 収集した指示データセットを用いて、指示微調整を実施し、医療QAおよび対話生成能力を向上させること。
• 標準的な自然言語処理指標（BLEU、ROUGE-L、GLEU）およびドメイン特化型レーティングモデル（Ziya-LLaMA-7B-Reward）を用いて、モデルのパフォーマンスを評価すること。
• 指示微調整の効果を検証するためのアブレーションスタディを実施すること。
• 訓練済みモデル、コード、データセットをGitHubに公開し、再現性およびコミュニティへのアクセスを確保すること。

実験結果

リサーチクエスチョン

• RQ1 分野特化型の中国伝統医学テキストおよび指示データで微調整された大規模言語モデルは、一般向けまたは英語中心のモデルと比較して、中国語医療対話において優れたパフォーマンスを発揮できるか？
• RQ2 ヒューリスティックルール、LLMフィルタリング、レーティングモデルスコアリングを含む段階的データ収集パイプラインは、医療指示データの質および安全性を向上させるのにどの程度有効か？
• RQ3 指示微調整は、ワンターン医療QAにおいて、正確で、流暢で、医学的に適切な応答を生成する能力をどの程度向上させるか？
• RQ4 MedChatZHは、HuatuoGPT や GPT-3.5-turbo といった強力なベースラインと比較して、自動評価指標および人間の感覚に近いレーティングスコアリングの両方で優れているか？

主な発見

• MedChatZHは、実世界の中国語医療対話ベンチマークで複数の強力なベースラインを上回り、複数の評価指標において最先端のパフォーマンスを示している。
• アブレーションスタディにより、精錬された高品質な医療指示データで微調整することで、モデルの医療QA能力が顕著に向上することが確認された。
• レーティングモデル（Ziya-LLaMA-7B-Reward）を用いた評価は、従来の指標のみに依存するのとは異なり、応答品質のより洗練されたかつ信頼性の高い評価を可能にした。
• BLEU、ROUGE-L、GLEUといった標準的な自然言語処理指標においても、優れたパフォーマンスを達成しており、正解応答との高い流暢さおよびn-gram一致度を示している。
• 事実の整合性、指示への従順性、応答の一貫性といった複数の評価基準において、モデルのパフォーマンスが安定している。
• モデル、コード、データセットのオープンソース公開により、再現性が確保され、今後の中国語医療LLM分野の研究を支援できる。