[논문 리뷰] MedAlpaca -- An Open-Source Collection of Medical Conversational AI Models and Training Data

Tianyu Han, Lisa C. Adams외 7명|arXiv (Cornell University)|2023. 04. 14.

Artificial Intelligence in Healthcare and Education인용 수 104

한 줄 요약

이 논문은 오픈 소스 의료 LLM 미세조정 데이터세트를 제시하고 USMLE 자기평가 과제에서 미세조정된 모델과 사전학습 baselines를 비교 평가하며, 고품질의 의료 데이터를 활용한 더 큰 사전학습 모델이 성능을 향상시키는 것을 보여준다. 또한 LoRA 및 8비트 방법과 현장 배치의 프라이버시 이점을 다룬다.

ABSTRACT

As large language models (LLMs) like OpenAI's GPT series continue to make strides, we witness the emergence of artificial intelligence applications in an ever-expanding range of fields. In medicine, these LLMs hold considerable promise for improving medical workflows, diagnostics, patient care, and education. Yet, there is an urgent need for open-source models that can be deployed on-premises to safeguard patient privacy. In our work, we present an innovative dataset consisting of over 160,000 entries, specifically crafted to fine-tune LLMs for effective medical applications. We investigate the impact of fine-tuning these datasets on publicly accessible pre-trained LLMs, and subsequently, we juxtapose the performance of pre-trained-only models against the fine-tuned models concerning the examinations that future medical doctors must pass to achieve certification.

연구 동기 및 목표

• 오픈 액세스형으로 현장(N-온-프레미스) 친화적인 의료 언어 모델 및 학습 데이터 모음을 만든다.
• 공개적으로 이용 가능한 LLM의 의료 태스크에 대한 미세조정의 영향을 평가한다.
• USMLE Step 1–3 자기평가에서 모델의 의료 역량을 측정하여 성능을 평가한다.
• 의료 AI 배치의 프라이버시, 편향성 및 신뢰성 고려사항에 대한 지침을 제공한다.

제안 방법

• 의료 NLP 태스크의 다양성을 갖춘 Medical Meadow를 구성하고, 지시 학습을 위해 재구성된 인터넷 소스 데이터를 사용한다.
• 전체 미세조정 및 매개변수 효율적 방법(LoRA, 8-bit training)을 사용하여 LLaMA 기본 모델(7B 및 13B)을 미세조정한다.
• 코사인 스케줄러와 그래디언트 축적을 사용해 배치 크기 256이 되도록 다양한 학습률과 에포크를 사용해 학습한다.
• 영상 기반 문제를 제외하고, USMLE Step 1, 2, 3 자기평가 데이터셋에서 제로샷 성능을 평가하며, 출력 형식을 'Option: Answer'로 강제한다.
• 성능과 계산 비용 사이의 균형을 평가하기 위해 전체 미세조정과 LoRA 및 8-bit 변형을 비교한다.

실험 결과

연구 질문

• RQ1 미세조정된 의료 LLM이 USMLE 자기평가 태스크에서 사전학습 전용 모델보다 더 우수한가?
• RQ2 모델 크기(7B 대 13B)가 미세조정 후 의료 지식 성능에 어떤 영향을 미치는가?
• RQ3 매개변수 효율적 튜닝(LoRA, 8-bit)이 전체 미세조정 대비 정확도에 어떤 영향을 미치는가?
• RQ4 미세조정 데이터의 품질 및 도메인 특이성이 USMLE 스타일의 성능에 어떤 개선을 가져오는가?

주요 결과

• 미세조정된 MedAlpaca 모델은 USMLE Step 1, 2, 3에서 사전학습 전용 베이스라인보다 우수하다.
• MedAlpaca 13b가 더 작은 모델보다 더 높은 원시 점수를 달성한다(Step 1: 0.473, Step 2: 0.477, Step 3: 0.602).
• LoRA 및 8-bit 미세조정은 학습 속도를 높이지만 일반적으로 바닐라 미세조정에 비해 정확도가 감소한다.
• 더 큰 사전학습 모델과 고품질 의료 데이터로 성능이 향상된다.
• 오픈 소스 모델은 의료 맥락에서의 프라이버시 문제를 해결하기 위한 현장 배포를 가능하게 한다.