[论文解读] BianCang: A Traditional Chinese Medicine Large Language Model

Sibo Wei, Xueping Peng+9 more|arXiv (Cornell University)|Nov 17, 2024

Traditional Chinese Medicine Studies被引用 5

一句话总结

BianCang 是一个基于 Qwen 构建、经过两阶段训练的针对中医的大语言模型，通过持续预训练注入大量中医知识，并通过有监督微调将其与现实世界任务对齐，在11个测试集上实现强的辨证分型和诊断性能。

ABSTRACT

The surge of large language models (LLMs) has driven significant progress in medical applications, including traditional Chinese medicine (TCM). However, current medical LLMs struggle with TCM diagnosis and syndrome differentiation due to substantial differences between TCM and modern medical theory, and the scarcity of specialized, high-quality corpora. To this end, in this paper we propose BianCang, a TCM-specific LLM, using a two-stage training process that first injects domain-specific knowledge and then aligns it through targeted stimulation to enhance diagnostic and differentiation capabilities. Specifically, we constructed pre-training corpora, instruction-aligned datasets based on real hospital records, and the ChP-TCM dataset derived from the Pharmacopoeia of the People's Republic of China. We compiled extensive TCM and medical corpora for continual pre-training and supervised fine-tuning, building a comprehensive dataset to refine the model's understanding of TCM. Evaluations across 11 test sets involving 31 models and 4 tasks demonstrate the effectiveness of BianCang, offering valuable insights for future research. Code, datasets, and models are available on https://github.com/QLU-NLP/BianCang.

研究动机与目标

• 推动开发能够进行准确辨证和疾病诊断的面向中医的语言模型。
• 通过持续预训练注入广泛的中医和医学知识，建立扎实的知识基础。
• 通过针对性的有监督微调，在多样的中医指令和真实世界数据上对嵌入的知识进行对齐和激活。
• 在辨证、诊断和考试等多个任务上与多组基线进行比较，以证明鲁棒性。

提出的方法

• 在基于 Qwen 的基础上进行两阶段训练：对大型中医/医学语料和真实病例进行持续预训练，然后再使用领域专用指令进行有监督微调。
• 构建涵盖 MedicalBooks、Encyclopedia、Literature、Pharmacopoeia、MedicalRecords、TCMSD&DD Records 和专业知识库的综合预训练数据集。
• 开发基于 ChP-TCM 的指令数据集（ChP-KnowledgeQA、ChP-PrescriptionWriting），以及医疗记录和多轮对话的 SFT 数据集（DISC-Med-SFT、MLEC-SFT、TCM-SFT 变体）。
• 在 7B 与 14B 规模上以全参数微调和 SWIFT 进行微调，结合正则化和训练稳定性启发式方法，在 A100 GPU 上进行两轮训练。
• 在11个测试集和4个任务上进行评估，并与包括 GPT-4 在内的广泛基线（医学与中医大模型）进行比较，以验证在中医辨证、疾病诊断和考试方面的改进。

实验结果

研究问题

• RQ1 面向中医的语言模型是否能通过两阶段训练范式实现优越的辨证和诊断？
• RQ2 通过大量中医/医学语料和真实病人数据进行持续预训练，如何影响下游的 SFT 在中医任务中的表现？
• RQ3 通过 ChP-TCM 指令集进行的定向对齐是否提升中医的真实世界诊断和治疗计划能力？
• RQ4 BianCang 在多项客观与主观评价维度上与现有开源医学与中医大模型相比如何？

主要发现

• BianCang 在 11 个测试集的 4 项任务（辨证、疾病诊断、考试与医学知识）上优于现有的开源中医和中文医学大模型。
• 在 TCMSD 的直接推理模式下，BianCang-Qwen2.5-7B-Instruct 取得 78.90% 的准确率和 82.10% 的连锁推理（CoT）分数，明显高于基线 Qwen2.5-7B。
• BianCang 在零-shot 和少-shot 考试设置中均表现出稳健的性能提升，并在专业性、流畅性和安全性方面获得 BC-Analytical 评估的强烈主观评价。
• 两阶段训练方法（持续预训练+ SFT）提高了嵌入知识与指令对齐能力之间的一致性，提升了在辨证和诊断任务上的表现。