[논문 리뷰] PMC-LLaMA: Towards Building Open-source Language Models for Medicine

Chaoyi Wu, Lin, Weixiong외 4명|arXiv (Cornell University)|2023. 04. 27.

Topic Modeling인용 수 56

한 줄 요약

PMC-LLaMA는 LLaMA를 데이터 중심 지식 주입과 의료 지시 학습으로 구축한 오픈소스 13B 의학 중심 언어 모델로, 여러 의료 QA 벤치마크에서 ChatGPT를 능가하면서도 경량화된 모델입니다.

ABSTRACT

Recently, Large Language Models (LLMs) have showcased remarkable capabilities in natural language understanding. While demonstrating proficiency in everyday conversations and question-answering situations, these models frequently struggle in domains that require precision, such as medical applications, due to their lack of domain-specific knowledge. In this paper, we describe the procedure for building a powerful, open-source language model specifically designed for medicine applications, termed as PMC-LLaMA. Our contributions are threefold: (i) we systematically investigate the process of adapting a general-purpose foundation language model towards medical domain, this involves data-centric knowledge injection through the integration of 4.8M biomedical academic papers and 30K medical textbooks, as well as comprehensive fine-tuning for alignment with domain-specific instructions; (ii) we contribute a large-scale, comprehensive dataset for instruction tuning. This dataset encompasses medical question-answering (QA), rationale for reasoning, and conversational dialogues, comprising a total of 202M tokens; (iii) we conduct thorough ablation studies to demonstrate the effectiveness of each proposed component. While evaluating on various public medical question-answering benchmarks, our lightweight PMCLLaMA, which consists of only 13 billion parameters, exhibits superior performance, even surpassing ChatGPT. All models, codes, datasets can be found in https://github.com/chaoyi-wu/PMC-LLaMA.

연구 동기 및 목표

• 데이터 중심 지식 주입으로 일반 목적 LLM을 의료 도메인에 적응시키는 것을 조사한다.
• 도메인 정렬을 위한 대규모 의료 말뭉치(MedC-K)와 의료 지시 학습 데이터셋(MedC-I)을 구성한다.
• PMC-LLaMA를 표준 의료 QA 벤치마크에서 평가하고 핵심 기여 구성요소를 식별하기 위한 차폐(ablations) 분석을 수행한다.

제안 방법

• MedC-K를 형성하기 위해 4.8M 생의학 논문과 30K 교과서를 학습해 의료 지식을 주입한다.
• MedC-I(202M 토큰)에 대해 의학 특화 지시 학습을 수행하여 임상 사용 사례에 맞춘 정렬을 달성한다.
• 지식 주입(자동회귀 손실) 다음으로 지시 학습(I, R 형식, 합리화, 지식 그래프 프롬프트)을 수행하는 2단계 학습을 사용한다.
• 의료 대화 데이터, 합리화 QA, 지식 그래프 프롱핑(UMLS) 등 지시 학습을 위한 세 가지 데이터 소스를 도입한다.
• 세 가지 공공 의료 QA 벤치마크(PubMedQA, MedMCQA, USMLE)로 평가하고 모델 크기, 데이터 주입, 지시 학습에 따른 차폐를 수행한다.

실험 결과

연구 질문

• RQ1 데이터 중심 지식 주입과 의학 특화 지시 학습 후 13B 오픈소스 LLM이 의료 QA에서 더 크거나 폐쇄형 모델(ChatGPT)에 비해 경쟁력이 있을 수 있는가?
• RQ2 다양한 구성 요소(논문/책 지식 주입, 합리화 QA, 대화 데이터, 지식 그래프 프롱핑)가 의료 QA 성능에 어떻게 기여하는가?
• RQ3 모델 규모와 교육 방식이 의료 QA 벤치마크에 미치는 영향은 무엇인가?

주요 결과

모델 크기	지식 주입(논문)	지식 주입(책)	지시 학습(합리화)	MedQA	MedMCQA	PubMedQA	평균
7B Baseline LLaMA	%	%	%	44.54	48.51	73.40	-
13B Baseline LLaMA	%	%	%	45.48	51.42	76.40	-
PMC-LLaMAK 7B	!	%	%	44.70	50.54	69.50	-
PMC-LLaMAK 7B (with Rationale)	!	!	%	45.56	51.45	74.60	-
PMC-LLaMAK 13B	%	%	%	48.15	54.15	77.10	-
PMC-LLaMA 13B (initial)	!	!	!	49.32	54.56	77.20	-
PMC-LLaMA 13B (full setup)	!	!	!	56.36	56.04	77.90	-

• 의료 지식 주입과 지시 학습을 모두 적용한 PMC-LLaMA-13B는 MedQA, MedMCQA, PubMedQA를 합친 평균 QA 정확도에서 여러 베이스라인보다 높다.
• 차폐 분석에서 책의 추가가 MedQA, MedMCQA, PubMedQA를 최대 약 1.0–2.9 포인트 개선; 논문 추가 역시 이득; 더 큰 모델 크기(13B)가 7B보다 성능 향상.
• 의료 합리화 QA와 지식 그래프 프롬핑을 지시 학습에 포함시키면 성능이 향상(예: MedQA: 49.32%에서 54.43%, 지식 그래프 추가 약 1.93%); 대화 데이터와 합리화 데이터가 제로샷 QA를 크게 향상.
• 전체 설정을 갖춘 PMC-LLaMA-13B가 평가된 벤치마크에서 ChatGPT보다 더 높은 평균 QA 정확도를 달성(평균 64.43 대 ChatGPT의 54.97 on MedQA/MedMCQA/PubMedQA)
• 모델은 저자들의 GitHub에서 코드와 데이터가 오픈소스로 공개되어 있다.