[논문 리뷰] Hengqin-RA-v1: Advanced Large Language Model for Diagnosis and Treatment of Rheumatoid Arthritis with Dataset based Traditional Chinese Medicine

Yishen Liu, Shengda Luo외 7명|arXiv (Cornell University)|2025. 01. 05.

Traditional Chinese Medicine StudiesMedicine인용 수 3

한 줄 요약

Hengqin-RA-v1은 전통 한의학(TCM) 기반 류마티스성 관절염(RA) 진료를 위해 특별히 피지테이닝된 최초의 대규모 언어 모델로, 고전 한의학 문헌과 현대 임상 연구에서 유래한 새로운 HQ-GCM-RA-C1 데이터셋을 활용한다. 중국 TCM 자격 시험에서 54%의 통과율을 기록하여, GPT-3.5의 증강 버전과 Huatuo-2-7B를 포함한 다른 LLM들보다 뚜렷이 뛰어난 정확도와 전문 분야 지식을 입증하며, TCM 분야에서의 뛰어난 성능을 보였다.

ABSTRACT

Large language models (LLMs) primarily trained on English texts, often face biases and inaccuracies in Chinese contexts. Their limitations are pronounced in fields like Traditional Chinese Medicine (TCM), where cultural and clinical subtleties are vital, further hindered by a lack of domain-specific data, such as rheumatoid arthritis (RA). To address these issues, this paper introduces Hengqin-RA-v1, the first large language model specifically tailored for TCM with a focus on diagnosing and treating RA. We also present HQ-GCM-RA-C1, a comprehensive RA-specific dataset curated from ancient Chinese medical literature, classical texts, and modern clinical studies. This dataset empowers Hengqin-RA-v1 to deliver accurate and culturally informed responses, effectively bridging the gaps left by general-purpose models. Extensive experiments demonstrate that Hengqin-RA-v1 outperforms state-of-the-art models, even surpassing the diagnostic accuracy of TCM practitioners in certain cases.

연구 동기 및 목표

• 류마티스성 관절염(RA)에 대한 전통 한의학(TCM) 분야에서 고도로 전문화되고 품질이 높은 중국어 의료 문헌 자료의 부족을 해결하기 위해.
• 일반 목적의 대규모 언어 모델(LLMs)이 문화적으로 민감하고 임상적으로 정밀한 TCM 진료 및 치료 권고를 처리하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 류마티스성 관절염(RA)의 TCM 기반 진료 및 치료 계획 수립에서 인간 전문가 수준 또는 그 이상의 성능을 보이는 전문화된 LLM, Hengqin-RA-v1을 개발하기 위해.
• 류마티스성 관절염(RA)에 대한 TCM 분야에서 처음으로 종합적이고 체계적으로 정리된 중국어 어휘 자료인 HQ-GCM-RA-C1를 제작하고 공개하기 위해.
• 특히 고전 중국어 및 복잡한 진료 논리에 초점을 맞춘 TCM 전용 의료 추론 평가 기준을 설정하기 위해.

제안 방법

• 모델는 점진적인 파이프라인을 통해 훈련된다: HQ-GCM-RA-C1 데이터셋에서 시작하여, 데이터 분할, 대화 세트 생성, 전체 피지테이닝, LoRA 적응을 거친다.
• 누적적인 피지테이닝을 통해 이전 지식을 유지하면서도 특정 파rameter만 선택적으로 업데이트함으로써 지속적인 신규 데이터 적응이 가능하도록 한다.
• 개체 중심 및 엔티티-관계 중심의 검색 향상 기법을 통합하여 맥락적 관련성과 진료 논리적 추론 능력을 향상시킨다.
• 구조화된 의료 기록과 슬라이딩 윈도우 메커니즘을 활용해 TCM 진료 논리를 정교화하여 장기 맥락 추론에서의 일관성과 정확도를 유지한다.
• 표준화된 중국어 TCM 시험을 통해 모델를 평가하며, 성능은 정답 수를 총 문제 수로 나눈 비율(정확도)로 측정된다.
• 데이터 증강 및 도메인 전용 사전 훈련을 적용하여 모델의 일반화 능력을 향상시키고 중국어 의료 언어 이해에서의 편향을 줄인다.

Figure 1: The progressive training workflow of Hengqin-RA-v1 starts with HQ-GCM-RA-C1 , followed by Data Segmentation Conversation Set Generation, Full Fine-Tuning, and LoRA. Incremental Fine-Tuning then adjusts select parameters while preserving knowledge, branching into Instance-Oriented and Entit

실험 결과

연구 질문

• RQ1 류마티스성 관절염(RA)에 대해 체계적으로 정리된 TCM 전용 데이터셋으로 피지테이닝된 대규모 언어 모델이 일반 목적의 LLM보다 뛰어난 진료 및 치료 권고 성능을 보일 수 있는가?
• RQ2 훈련 데이터셋에 고전 중국어 의학 문헌과 현대 임상 자료를 포함시킬 경우, 모델의 정확도와 TCM의 문화적 맥락 이해 능력이 얼마나 향상되는가?
• RQ3 Hengqin-RA-v1은 TCM 원칙에 기반해 류마티스성 관절염(RA)을 진료하고 치료하는 데 있어 인간 TCM 전문가들과 다른 최신 기술의 LLM들과 비교해 어떻게 성과를 내는가?
• RQ4 데이터 증강 및 전문화된 피지테이닝 기법이 모델의 표준 TCM 시험 통과 능력에 미치는 영향은 어떠한가?
• RQ5 종합적이고 다중 출처의 중국어 어휘 자료를 기반으로 훈련된 도메인 전용 LLM은 일반 목적 모델에서 관찰되는 언어적 및 문화적 편향을 줄일 수 있는가?

주요 결과

• Hengqin-RA-v1은 중국 TCM 자격 시험에서 54%의 통과율을 기록하여, GPT-3.5 (+)의 37%와 Huatuo-2-7B (*)의 37%를 뛰어넘는 뚜렷한 성능을 보였다.
• 모델는 데이터 증강 변형을 포함한 모든 평가된 중국어 및 비중국어 LLM들을 초월하여, 전문화된 훈련과 도메인 전용 데이터의 효과를 입증했다.
• 특정 시험 케이스에서 Hengqin-RA-v1는 일부 인간 TCM 전문가의 진료 정확도를 뛰어넘어 임상적 추론 능력에서 높은 신뢰성을 보였다.
• 고전 문헌, 시험 문제, 현대 임상 연구를 포함한 HQ-GCM-RA-C1 데이터셋은 모델의 높은 성능과 맥락 정확도를 가능하게 한 핵심 요소였다.
• 연구 결과에 따르면, 고전 중국어, 동음이의어, 다의어 등 언어의 복잡성은 여전히 도메인 전용 어휘 자료로 훈련된 LLM에게도 주요 과제로 남아 있다.
• 결과적으로, 체계적으로 정리된 고품질의 문화적으로 기반을 둔 데이터셋이 전통 의학 분야의 전문화된 LLM 발전에 결정적인 역할을 하며, 의료 AI의 편향을 줄이는 데 핵심적인 기여를 한다는 점이 확인되었다.

Figure 2: Enhancing TCM diagnostic and treatment logic involves a data processing pipeline starting with Raw Data as the initial input. The data is segmented (Raw Data- $1$ to Raw Data- $N$ ) and combined with a System Prompt at the Input stage. This input undergoes task-specific processing in the T