[논문 리뷰] Aloe: A Family of Fine-tuned Open Healthcare LLMs

Ashwin Kumar Gururajan, Enrique Lopez-Cuena외 11명|arXiv (Cornell University)|2024. 05. 03.

Phytochemistry and biological activity of medicinal plants인용 수 6

한 줄 요약

논문은 Aloe라는 오픈 헬케어 LLM 계열을 제시합니다. 이는 오픈 베이스 모델에서 파인튜닝하고 합성 데이터, 모델 병합, 정렬을 도입해 7B 규모의 의료 LLM에서 최첨단 성능을 달성하고, red-teaming과 DPO alignment를 통해 윤리성과 안전성을 다룹니다.

ABSTRACT

As the capabilities of Large Language Models (LLMs) in healthcare and medicine continue to advance, there is a growing need for competitive open-source models that can safeguard public interest. With the increasing availability of highly competitive open base models, the impact of continued pre-training is increasingly uncertain. In this work, we explore the role of instruct tuning, model merging, alignment, red teaming and advanced inference schemes, as means to improve current open models. To that end, we introduce the Aloe family, a set of open medical LLMs highly competitive within its scale range. Aloe models are trained on the current best base models (Mistral, LLaMA 3), using a new custom dataset which combines public data sources improved with synthetic Chain of Thought (CoT). Aloe models undergo an alignment phase, becoming one of the first few policy-aligned open healthcare LLM using Direct Preference Optimization, setting a new standard for ethical performance in healthcare LLMs. Model evaluation expands to include various bias and toxicity datasets, a dedicated red teaming effort, and a much-needed risk assessment for healthcare LLMs. Finally, to explore the limits of current LLMs in inference, we study several advanced prompt engineering strategies to boost performance across benchmarks, yielding state-of-the-art results for open healthcare 7B LLMs, unprecedented at this scale.

연구 동기 및 목표

• 헬스케어 AI에서 오픈 사이언스를 촉진하기 위해 공익을 보호하는 경쟁력 있는 오픈 LLM을 개발한다.
• 오픈 헬케어 LLM에 대한 명령어 튜닝, 모델 병합, 정렬의 효과를 조사한다.
• red-teaming, DPO alignment, 리스크 평가를 통해 윤리적·편향성·안전성 측면을 평가한다.
• 재현성과 책임 있는 배치를 가능하게 하기 위해 학습 데이터, 병합 구성 및 프롬팅 전략을 공유한다.

제안 방법

• 도메인 특화 의료 명령 데이터와 합성 CoT 강화 데이터를 사용해 오픈 베이스 모델(Mistral-7B 및 Llama 3-8B)을 파인튜닝해 Aloe 변형체를 만든다.
• 다양한 기본/하위 모델의 강점을 결합하고 합성된 7B-8B 크기의 모델을 얻기 위해 모델 병합(DARE-TIES)을 적용한다.
• 안전성과 윤리적 행동을 개선하기 위한 레드-팀링에서 영감을 받은 데이터셋을 포함한 2단계 Direct Preference Optimization(DPO) 정렬을 수행한다.
• 추론 중 의료 벤치마크 성능을 높이기 위해 Medprompting, 자가 일관 CoT, 임베딩을 활용한 few-shot과 같은 고급 프롬팅 전략을 탐구한다.
• DPO 정렬 모델을 CC-BY-NC 4.0 하에 공개하고 재현성 및 안전성 분석을 지원하기 위해 병합 구성과 프롬팅 저장소를 공유한다.

실험 결과

연구 질문

• RQ1 명령어 튜닝, 합성 데이터 및 모델 병합이 약 7B 규모의 오픈 헬스케어 LLM 성능에 어떤 영향을 미치는가?
• RQ2 정렬(DPO)과 레드-팀링이 오픈 헬스케어 LLM의 안전성, 편향성 및 사실성 향상에 기여하되 의학적 정확성을 해치지 않는가?
• RQ3 이 규모에서 고급 프롬팅 전략이 오픈 헬스케어 LLM 벤치마크를 크게 향상시키는가?
• RQ4 Aloe 계열에서 모델 크기, 성능, 안전성 간의 트레이드-off는 무엇인가?

주요 결과

• Aloe는 모델 병합과 고급 프롬팅을 사용할 때 7B의 오픈 헬스케어 모델에 대해 최첨단 성능을 달성한다.
• DPO 정렬은 안전하지 않은 응답을 줄이고 윤리 및 사실성 지표를 향상시키지만, 더 큰 모델은 일부 환경에서 편향성 및 독성 증가를 보일 수 있다.
• 메드프롬토잉과 앙상블을 통한 자가 일관 프롬팅은 벤치마크의 의학적 정확도를 크게 높이고, 특정 앙상블 규모를 넘어서는 수익은 점진적으로 감소한다.
• Aloe-Llama3-8B-Alpha는 여러 더 큰 오픈 모델보다 우수한 성능을 보이고, 여러 의료 벤치마크에서 더 큰 사설 모델의 성능에 근접한다.
• 논문은 재현성과 안전 중심 연구를 지원하기 위해 DPO 정렬 모델과 학습/병합 구성을 공개한다.