[논문 리뷰] ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model Meta-AI (LLaMA) Using Medical Domain Knowledge

Yunxiang Li, Li Zihan외 4명|arXiv (Cornell University)|2023. 03. 24.

Machine Learning in Healthcare인용 수 33

한 줄 요약

ChatDoctor 파인튜닝은 100k의 실제 환자-의사 대화에서 LLaMA를 미세 조정하고 온라인/오프라인 소스에서 자율 외부 지식 검색을 갖추어 의료 응답 정확도를 ChatGPT와 비교해 개선합니다.

ABSTRACT

The primary aim of this research was to address the limitations observed in the medical knowledge of prevalent large language models (LLMs) such as ChatGPT, by creating a specialized language model with enhanced accuracy in medical advice. We achieved this by adapting and refining the large language model meta-AI (LLaMA) using a large dataset of 100,000 patient-doctor dialogues sourced from a widely used online medical consultation platform. These conversations were cleaned and anonymized to respect privacy concerns. In addition to the model refinement, we incorporated a self-directed information retrieval mechanism, allowing the model to access and utilize real-time information from online sources like Wikipedia and data from curated offline medical databases. The fine-tuning of the model with real-world patient-doctor interactions significantly improved the model's ability to understand patient needs and provide informed advice. By equipping the model with self-directed information retrieval from reliable online and offline sources, we observed substantial improvements in the accuracy of its responses. Our proposed ChatDoctor, represents a significant advancement in medical LLMs, demonstrating a significant improvement in understanding patient inquiries and providing accurate advice. Given the high stakes and low error tolerance in the medical field, such enhancements in providing accurate and reliable information are not only beneficial but essential.

연구 동기 및 목표

• 실제 세계의 환자-의사 대화에서 언어 모델을 파인튜닝하여 의료 대화의 정확도 향상.
• 실시간 정보 검색을 위한 외부 지식 브레인(온라인/오프라인) 통합으로 신뢰성 강화.
• 의료 질의에 대해 일반 도메인 모델(ChatGPT) 대비 정밀도, 재현율 및 F1 점수의 개선 시연.

제안 방법

• Alpaca 스타일의 지시 조정에 따라 HealthCareMagic-100k 환자-의사 대화에서 LLaMA-7B를 미세 조정.
• MedlinePlus 유래 질병 데이터 및 Wikipedia와 같은 보충 소스에서 외부 지식 브레인 구축.
• 질의에서 핵심 용어를 추출하기 위한 자율 키워드 마이닝 프롬프트 개발.
• 섹션화된 텍스트와 토큰 제한 처리로 검색 내용의 키워드 중심 검색 시스템 구현.
• 검색된 지식 섹션을 읽고 최종적으로 정보에 기초한 응답을 생성하도록 모델에 프롬프트.
• 정밀도, 재현율 및 F1에 대해 인간 의사 응답을 ground truth로 삼아 iCliniq 유래 질문으로 평가하며 BERTScore 적용.

실험 결과

연구 질문

• RQ1 의료 도메인에 특화된 LLM이 일반 도메인 모델(ChatGPT)보다 의료 대화 작업에서 더 우수한 성능을 보일 수 있는가?
• RQ2 자율 외부 지식 검색 메커니즘을 추가하는 것이 의료 질문의 정답 정확도와 최신 정보를 향상시키는가?
• RQ3 학습 세트에 포함되지 않은 비교적 새로운 용어나 질환(Mpox, Daybue 등)을 포함하는 질의에서 ChatDoctor의 성능은 어떠한가?

주요 결과

• ChatDoctor가 보고된 평가에서 BERTScore의 정밀도, 재현율 및 F1에서 ChatGPT를 능가한다.
• 자율 지식 검색은 Mpox와 같이 새로운 용어 및 신규 승인 약물(Daybue) 등에 대한 정확한 응답을 가능하게 한다.
• 정성적 예시는 ChatDoctor가 여러 시나리오에서 ChatGPT보다 더 전문적이고 입증된 의료 가이드를 제공함을 보여준다.
• 모델은 미세 조정을 위해 HealthCareMagic-100k를, 테스트 데이터로 iCliniq를 사용했으며 제시된 지표에서 개선이 입증되었다.