[논문 리뷰] MedChatZH: a Better Medical Adviser Learns from Better Instructions

Yang Tan, Mingchen Li외 3명|arXiv (Cornell University)|2023. 09. 03.

Topic Modeling인용 수 4

한 줄 요약

MedChatZH는 정제된 전통중의약(TCM) 텍스트 및 의료 지시 쌍 데이터셋으로 미세튜닝된 중국어 의료 대화 모델로, 단일 전환 중국어 의료 질의응답(QA)에서 최신 기술 수준의 성능을 달성하였다. 자동 평가 지표(BLEU, ROUGE-L, GLEU)와 미세튜닝된 보상 모델을 모두 사용하여 베이스라인을 압도했으며, 코드, 모델, 데이터셋을 커뮤니티 사용을 위해 오픈소스로 공개하였다.

ABSTRACT

Generative large language models (LLMs) have shown great success in various applications, including question-answering (QA) and dialogue systems. However, in specialized domains like traditional Chinese medical QA, these models may perform unsatisfactorily without fine-tuning on domain-specific datasets. To address this, we introduce MedChatZH, a dialogue model designed specifically for traditional Chinese medical QA. Our model is pre-trained on Chinese traditional medical books and fine-tuned with a carefully curated medical instruction dataset. It outperforms several solid baselines on a real-world medical dialogue dataset. We release our model, code, and dataset on https://github.com/tyang816/MedChatZH to facilitate further research in the domain of traditional Chinese medicine and LLMs.

연구 동기 및 목표

• 일반 목적의 대규모 언어 모델(LLM)이 전통중의약(TCM)과 같은 전문 분야에서 낮은 성능을 보이는 문제를 해결하기 위해 도메인 특화 대화 모델을 개발하기 위해.
• 대규모 전통중의약 서적 코퍼스로 사전 훈련하고, 고품질 지시 데이터로 미세튜닝하여 중국어 의료 질의응답을 향상시키기 위해.
• 민감한, 관련 없는, 구어체적인 내용을 제거하는 철저한 데이터 정제 파이프라인을 통해 의료 LLM의 환각 및 저품질 출력 문제를 완화하기 위해.
• 다음 연구를 지원하기 위해 재현 가능하고 오픈소스로 제공되는 모델과 데이터셋을 공개하기 위해.

제안 방법

• 도메인 특화 지식을 향상시키기 위해 대규모 전통중의약 텍스트 컬렉션으로 중국어 전용 LLM을 사전 훈련하였다.
• 히우리틱 필터링, LLM 기반 데이터 필터링, 보상 모델 스코어링을 포함한 다단계 파이프라인을 활용하여 고품질 의료 지시 데이터셋을 정제하였다. 이는 관련 없거나 민감하거나 저품질 콘텐츠를 제거하기 위함이다.
• 정제된 지시 데이터셋을 사용하여 지시 훈련을 통해 사전 훈련된 모델을 미세튜닝하여 의료 QA 및 대화 생성 능력을 향상시켰다.
• 표준 자연어 처리(NLP) 지표(BLEU, ROUGE-L, GLEU)와 도메인 특화 보상 모델(Ziya-LLaMA-7B-Reward)을 사용하여 모델 성능을 평가하였다.
• 지시 미세튜닝이 모델 성능에 미치는 영향을 검증하기 위해 분석 연구(Ablation study)를 수행하였다.
• 재현 가능성을 확보하고 커뮤니티 접근성을 높이기 위해 GitHub에 훈련된 모델, 코드, 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 도메인 특화 전통중의약 텍스트와 지시 데이터로 미세튜닝된 대규모 언어 모델이 일반 목적 또는 영어 중심 모델에 비해 중국어 의료 대화에서 뛰어난 성능을 내는가?
• RQ2 히우리틱 규칙, LLM 필터링, 보상 모델 스코어링을 포함한 다단계 데이터 정제 파이프라인이 의료 지시 데이터의 품질과 안전성 향상에 얼마나 효과적인가?
• RQ3 지시 미세튜닝이 단일 전환 의료 QA에서 정확하고 유창하며 의학적으로 적절한 응답을 생성하는 데 모델 능력에 얼마나 큰 영향을 미치는가?
• RQ4 MedChatZH는 BLEU, ROUGE-L, GLEU 등 자동 평가 지표와 인간과 유사한 보상 스코어링 모두에서 HuatuoGPT 및 GPT-3.5-turbo와 같은 강력한 베이스라인과 비교해 어떻게 성과를 내는가?

주요 결과

• MedChatZH는 실제 중국어 의료 대화 벤치마크에서 여러 강력한 베이스라인을 압도하며, 다양한 평가 지표에서 최신 기술 수준의 성능을 보였다.
• 분석 연구는 정제된, 정제된 고품질 의료 지시 데이터로의 미세튜닝이 모델의 의료 QA 능력에 크게 기여함을 확인하였다.
• 보상 모델(Ziya-LLaMA-7B-Reward)을 평가에 활용함으로써 기존 지표만으로는 확보하기 어려운 더 세밀하고 신뢰할 수 있는 응답 품질 평가가 가능함을 입증하였다.
• 모델는 BLEU, ROUGE-L, GLEU와 같은 표준 NLP 지표에서 뛰어난 성능을 기록하여 기준 답변과 높은 유창성과 n-gram 일치도를 보였다.
• 모델 성능은 사실 일致성, 지시 준수, 응답 일관성 등 다양한 평가 기준에서 뛰어난 안정성을 확보하였다.
• 모델, 코드, 데이터셋의 오픈소스 공개로 재현 가능성이 보장되었으며, 향후 중국어 의료 LLM 연구를 지원할 수 있었다.