[논문 리뷰] Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches

Christophe Clément, Praveen K Kanithi외 14명|arXiv (Cornell University)|2024. 04. 23.

Biomedical and Engineering Education인용 수 12

한 줄 요약

본 논문은 Llama-2를 기반으로 한 의학용 LLM에서 전체 매개변수 미세조정과 매개변수 효율적 미세조정(특히 LoRA)을 비교하고, Med42가 USMLE에서 72% 정확도를 달성했으며 모델의 디컨탐(decontamination) 및 오픈성에 대해 보고한다.

ABSTRACT

This study presents a comprehensive analysis and comparison of two predominant fine-tuning methodologies - full-parameter fine-tuning and parameter-efficient tuning - within the context of medical Large Language Models (LLMs). We developed and refined a series of LLMs, based on the Llama-2 architecture, specifically designed to enhance medical knowledge retrieval, reasoning, and question-answering capabilities. Our experiments systematically evaluate the effectiveness of these tuning strategies across various well-known medical benchmarks. Notably, our medical LLM Med42 showed an accuracy level of 72% on the US Medical Licensing Examination (USMLE) datasets, setting a new standard in performance for openly available medical LLMs. Through this comparative analysis, we aim to identify the most effective and efficient method for fine-tuning LLMs in the medical domain, thereby contributing significantly to the advancement of AI-driven healthcare applications.

연구 동기 및 목표

• 의학 LLM의 도메인 특화 미세조정이 검색, 추론, QA를 개선할 필요성을 제시한다.
• Llama-2를 기반으로 전체 매개변수 및 LoRA 스타일 튜닝을 적용한 의학 LLM(Med42)을 개발하고 평가한다.
• 확립된 의학 벤치마크에서 성능을 평가하고 학습 효율 및 오염 위험을 분석한다.
• 가장 우수한 모델의 오픈 액세스 배포를 제공하여 헬스케어 분야의 AI 발전에 기여한다.

제안 방법

• Stack Exchange 의학 포럼과 선별된 일반 도메인 의학 콘텐츠에서 의학 지시 학습 데이터셋을 구성한다.
• 7B 및 70B Llama-2 모델에 대해 전체 매개변수 튜닝과 LoRA 기반 매개변수 효율적 튜닝으로 미세조정한다.
• 시스템/프롬프트/어시스턴트 샘플을 연결하여 마스크 손실을 적용하고 응답 토큰만 자기회귀적으로 학습한다.
• AdamW를 코사인 LR 스케줄, 워밍업 및 표준 정규화와 함께 사용하고 FP-FT 및 LoRA의 에폭 수와 학습률을 명시한다.
• Eleuther AI의 평가 도구를 사용하여 다양한 의학 벤치마크에서 제로샷 성능을 평가하고, 오염 샘플의 디컨탐을 수행한다.
• 재현성과 오픈 연구를 위해 HuggingFace에서 Med42(70B)를 공개한다.

Figure 1: Performance of 7-billion (left) and 70-billion (right) parameter models on various medical-related benchmark datasets (in zero-shot setting). Performance results (accuracy) are displayed in % for the base and fine-tuned models.

실험 결과

연구 질문

• RQ1 의학 QA 및 추론 작업에서 전체 매개변수 미세조정과 LoRA 기반 매개변수 효율적 미세조정은 어떻게 비교되는가?
• RQ2 모델 크기(7B 대 70B)가 의학 분야에서 전체 매개변수 대 LoRA 미세조정의 상대 이득에 영향을 미치는가?
• RQ3 데이터 세트 디컨탐이 보고된 벤치마크 성능에 미치는 영향은 무엇인가?
• RQ4 Med42가 표준 벤치마크 및 USMLE 스타일 질문에서 다른 개방 의학 LLM과 어떻게 비교되는가?

주요 결과

• 미세조정된 모델은 의학 벤치마크 전반에서 기본 모델보다 성능이 우수하다.
• 전체 매개변수 미세조정이 일반적으로 LoRA보다 대부분의 데이터셋에서 우수하다.
• LoRA는 전체 매개변수 미세조정보다 근접한 성능을 달성하여 자원 효율적 대안을 제시한다.
• 디컨탐은 더 큰 규모의 미세조정 모델에서 정확도에 작은 변화만 초래하여 결과의 강건성을 시사한다.
• Med42-70B는 USMLE 관련 과제에서 강력한 제로샷 성능을 보이고 비교에서 여러 개방 의학 LLM보다 우수하다.
• 본 연구는 오픈 라이선스 및 재현성에 초점을 맞추며 Med42와 평가 프레임워크를 공개한다.

Figure 2: Accuracy change after decontamination for both (70b) fine-tuned models (shown in %).