[論文レビュー] Hengqin-RA-v1: Advanced Large Language Model for Diagnosis and Treatment of Rheumatoid Arthritis with Dataset based Traditional Chinese Medicine

Yishen Liu, Shengda Luo+7 more|arXiv (Cornell University)|Jan 5, 2025

Traditional Chinese Medicine StudiesMedicine被引用数 3

ひとこと要約

Hengqin-RA-v1 は、古典的中国医学文献と現代臨床研究から抽出された新しい HQ-GCM-RA-C1 データセットを活用して、幹細胞治療を含む伝統的中国医学（TCM）に基づく関節リウマチ（RA）の診断と治療を特に目的とした初の大規模言語モデル（LLM）である。中国TCM試験において54％の合格率を達成し、GPT-3.5の増強版やHuatuo-2-7Bなど、他のLLMを大きく上回る結果を示しており、RAのTCM診断における優れた正確性と分野特化型の専門性を示している。

ABSTRACT

Large language models (LLMs) primarily trained on English texts, often face biases and inaccuracies in Chinese contexts. Their limitations are pronounced in fields like Traditional Chinese Medicine (TCM), where cultural and clinical subtleties are vital, further hindered by a lack of domain-specific data, such as rheumatoid arthritis (RA). To address these issues, this paper introduces Hengqin-RA-v1, the first large language model specifically tailored for TCM with a focus on diagnosing and treating RA. We also present HQ-GCM-RA-C1, a comprehensive RA-specific dataset curated from ancient Chinese medical literature, classical texts, and modern clinical studies. This dataset empowers Hengqin-RA-v1 to deliver accurate and culturally informed responses, effectively bridging the gaps left by general-purpose models. Extensive experiments demonstrate that Hengqin-RA-v1 outperforms state-of-the-art models, even surpassing the diagnostic accuracy of TCM practitioners in certain cases.

研究の動機と目的

• 伝統的中国医学（TCM）における関節リウマチ（RA）の分野特化型で高品質な中国語医療コーパスが不足している問題に対処すること。
• 一般用途の大規模言語モデル（LLM）が文化的に繊細で臨床的に正確なTCM診断や治療提案を処理する際の限界を克服すること。
• TCMに基づくRA診断と治療計画において、人間の専門家と同等またはそれを上回る性能を示す分野特化型LLM、Hengqin-RA-v1 を開発すること。
• 古典的中国医学文献、試験問題、臨床データを含む、RAのTCM分野における包括的かつキュレートされた中国語コーパスであるHQ-GCM-RA-C1を構築・公開すること。
• 古典的中国語や複雑な診断論理を含む、TCM特化型の医療推論におけるLLMの評価ベンチマークを確立すること。

提案手法

• モデルは段階的なパイプラインを用いて訓練された：HQ-GCM-RA-C1 データセットから出発し、データ分割、会話セット生成、フルファインチューニング、LoRA適応の順に処理された。
• 段階的ファインチューニングにより、過去の知識を保持したままパラメータを部分的に更新することで、継続的な新データへの適応が可能になった。
• インスタンス指向型およびエンティティ関係指向型の検索強化を統合し、文脈的関連性と診断推論の質を向上させた。
• 構造化医療記録とスライディングウィンドウ機構を用いてTCM診断論理を精緻化し、長文脈推論における一貫性と正確性を維持した。
• 標準化された中国語TCM試験を用いてモデルを評価し、正答数／全問題数の比率（正答率）で性能を測定した。
• データ拡張と分野特化型の事前学習を適用し、中国語医療言語理解における一般化性能の向上とバイアス低減を図った。

Figure 1: The progressive training workflow of Hengqin-RA-v1 starts with HQ-GCM-RA-C1 , followed by Data Segmentation Conversation Set Generation, Full Fine-Tuning, and LoRA. Incremental Fine-Tuning then adjusts select parameters while preserving knowledge, branching into Instance-Oriented and Entit

実験結果

リサーチクエスチョン

• RQ1 関節リウマチ（RA）の分野特化型でキュレートされた中国語コーパスでファインチューニングされた大規模言語モデル（LLM）は、一般用途のLLMと比較して、診断および治療提案の性能が優れていると言えるか？
• RQ2 訓練コーパスに古典的中国医学文献と現代臨床データを含めることで、モデルの正確性とTCMにおける文化的文脈理解がどの程度向上するか？
• RQ3 Hengqin-RA-v1 は、TCM原則に従ってRAを診断・治療する際、人間のTCM専門家や他の最先端LLMと比較して、どのように性能を示すか？
• RQ4 データ拡張および特化型ファインチューニング技術の導入が、標準化されたTCM試験に合格する能力に与える影響は何か？
• RQ5 包括的かつマルチソースの中国語コーパスに基づいて訓練された分野特化型LLMは、一般用途モデルに見られる言語的・文化的バイアスを低減できるか？

主な発見

• Hengqin-RA-v1 は中国TCM試験で54％の合格率を達成し、GPT-3.5（＋）の37％やHuatuo-2-7B（＊）の37％を大きく上回った。
• モデルは、データ拡張バージョンを含む、中国語および非中国語のすべての評価対象LLMを上回り、特化型訓練と分野特化データの有効性を実証した。
• Hengqin-RA-v1 は特定のテストケースにおいて、一部の人間のTCM専門家を上回る診断正確性を示し、臨床的推論における高い信頼性を示した。
• 古典的文献、試験問題、現代臨床研究を含むHQ-GCM-RA-C1 データセットは、モデルの高い性能と文脈的正確性を実現するために不可欠であった。
• 本研究では、古典的中国語、同音異義語、多義語といった言語の複雑さが、分野特化コーパスで訓練されたLLMに対しても依然として主要な課題であることが明らかになった。
• 結果から、分野特化型LLMの発展を促進し、医療AIにおけるバイアス低減に寄与するため、キュレート済みで高品質かつ文化的に根ざしたデータセットの重要性が強調された。

Figure 2: Enhancing TCM diagnostic and treatment logic involves a data processing pipeline starting with Raw Data as the initial input. The data is segmented (Raw Data- $1$ to Raw Data- $N$ ) and combined with a System Prompt at the Input stage. This input undergoes task-specific processing in the T