[논문 리뷰] Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding

Augustin Toma, Patrick R. Lawler외 4명|arXiv (Cornell University)|2023. 05. 19.

Artificial Intelligence in Healthcare and Education인용 수 35

한 줄 요약

Clinical Camel은 오픈형, 전문가 수준의 의료 LLM으로 LLaMA-2에서 QLoRA를 사용해 미세조정되었으며, 오픈 의료 LLM 중 최첨단 성능을 달성하고 여러 벤치마크에서 GPT-3.5를 능가하고, 밀도 높은 의료 텍스트를 대화로 변환하기 위한 대화 기반 지식 인코딩을 도입했습니다.

ABSTRACT

We present Clinical Camel, an open large language model (LLM) explicitly tailored for clinical research. Fine-tuned from LLaMA-2 using QLoRA, Clinical Camel achieves state-of-the-art performance across medical benchmarks among openly available medical LLMs. Leveraging efficient single-GPU training, Clinical Camel surpasses GPT-3.5 in five-shot evaluations on all assessed benchmarks, including 64.3% on the USMLE Sample Exam (compared to 58.5% for GPT-3.5), 77.9% on PubMedQA (compared to 60.2%), 60.7% on MedQA (compared to 53.6%), and 54.2% on MedMCQA (compared to 51.0%). In addition to these benchmarks, Clinical Camel demonstrates its broader capabilities, such as synthesizing plausible clinical notes. This work introduces dialogue-based knowledge encoding, a novel method to synthesize conversational data from dense medical texts. While benchmark results are encouraging, extensive and rigorous human evaluation across diverse clinical scenarios is imperative to ascertain safety before implementation. By openly sharing Clinical Camel, we hope to foster transparent and collaborative research, working towards the safe integration of LLMs within the healthcare domain. Significant challenges concerning reliability, bias, and the potential for outdated knowledge persist. Nonetheless, the transparency provided by an open approach reinforces the scientific rigor essential for future clinical applications.

연구 동기 및 목표

• 연구 및 안전한 임상 배치를 위한 오픈형 고성능 의료 LLM의 필요성을 촉구한다.
• 표준 의료 벤치마크에서 독점 모델과 경쟁하는 오픈 대안으로 Clinical Camel을 제시한다.
• 교육용으로 밀도 높은 의학 문헌을 대화 데이터로 변환하는 DBKE (Dialogue-Based Knowledge Encoding)를 소개한다.
• 단일 GPU에서 QLoRA를 사용하여 13B 및 70B 매개변수 변형에 대해 효율적인 미세조정을 시연한다.

제안 방법

• 인간 입력 마스킹을 사용하여 단일 상용 GPU에서 QLoRA로 LLaMA-2 (13B 및 70B)를 미세조정한다.
• 교사-학생 미세조정 구성을 통해 밀도 높은 임상 텍스트를 다단 대화로 변환하도록 DBKE를 개발한다.
• 2021년 이전의 ShareGPT, MedQA 및 PubMed/오픈 액세스 임상 기사에서 대화로 변환된 학습 데이터를 생성한다.
• 모듈 간 4096 토큰 시퀀스와 64 LoRA 랭크로 한 에포크 학습한다.
• 제로샷 및 파이브샷 의료 벤치마크에서 정확도를 보고하기 위해 EleutherAI 평가 프레임워크를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 효율적인 미세조정으로 표준 의료 벤치마크에서 오픈 의료 LLM이 GPT-3.5와 동등하거나 이를 능가할 수 있는가?
• RQ2 도메인 특정 의학 텍스트의 회상력(memory recall)과 대화 성능을 향상시키는가?
• RQ3 의료 QA 벤치마크에서 오픈 의료 LLM과 최상위 독점 모델(GPT-4, Med-PaLM 2) 간의 성능 차이는 어느 정도인가?
• RQ4 경쟁력 있는 맥락 길이와 기능을 유지하면서 단일 GPU에서 높은 성능의 의료 LLM을 훈련시키는 것이 가능한가?

주요 결과

• 다섯 샷 평가에서 Clinical Camel은 모든 평가 벤치마크에서 GPT-3.5를 능가: USMLE Sample Exam 64.3% vs 58.5%, PubMedQA 77.9% vs 60.2%, MedQA 60.7% vs 53.6%, MedMCQA 54.2% vs 51.0%.
• Clinical Camel은 제로샷 및 파이브샷 설정에서 여러 MMLU 의학 도메인에서 GPT-3.5를 능가하지만 전반적으로 GPT-4 및 Med-PaLM 2보다 뒤처진다.
• PubMedQA에서 Clinical Camel은 다섯 샷 평가에서 GPT-4를 능가한다( GPT-4 점수는 74.4로 인용되고 Med-PaLM 2는 79.2, Clinical Camel은 77.9).
• 모델은 더 긴 컨텍스트(4096 토큰)를 지원하여 긴 대화에서 합리적인 임상 메모를 생성할 수 있다.
• DBKE는 밀도 높은 의학 문헌을 대화로 변환하여 모델 회상 및 정렬을 향상시키고 데이터 및 컴퓨트 요구량을 줄인다.