[논문 리뷰] BioXP-0.5B: Explainable Medical-AI via RL-GRPO

Zhihong Shao, Peiyi Wang외 9명|arXiv (Cornell University)|2024. 02. 05.

Mathematics, Computing, and Information Processing인용 수 66

한 줄 요약

소개하는 BioXP-0.5B, RL-GRPO로 구축된 설명 가능한 Medical-AI 모델로 추론 및 기억 효율성을 향상시키고, 의학 수학 및 추론 벤치마크에서 강한 성능을 달성한다.

ABSTRACT

BioXP-0.5B is a 🤗 Medical-AI model trained using our two-stage fine-tuning approach: Supervised Fine-Tuning (SFT): The model was initially fine-tuned on labeled data(MedMCQA) to achieve strong baseline accuracy on multiple-choice medical QA tasks. Group Relative Policy Optimization (GRPO): In the second stage, GRPO was applied to further align the model with human-like reasoning patterns. This reinforcement learning technique enhances the model’s ability to generate coherent, high-quality explanations and improve answer reliability.

연구 동기 및 목표

• 의료 추론을 위한 해석 가능한 출력을 지닌 도메인 특화 언어 모델을 구축한다.
• 크고 선별된 코퍼스를 사용한 확장 가능한 수학 사전 학습을 입증한다.
• 메모리 오버헤드를 낮춘 수학적 추론 개선을 위한 효율적 RL 방법(GRPO)을 개발하고 평가한다.
• 수학 중심의 사전 학습이 수학적 추론뿐 아니라 일반 추론 벤치마크를 향상시킨다는 것을 보여준다.

제안 방법

• OpenWebMath를 시드로 삼아 학습된 fastText 분류기를 사용하여 Common Crawl에서 수학 중심의 사전 학습 코퍼트(DeepSeekMath Corpus)를 생성한다.
• DeepSeekMath-Base 7B를 DeepSeek-Coder-Base-v1.5 7B에서 초기화하여 500B 토큰으로 기본 모델을 사전 학습한다.
• 수학적 지시 조정(CoT, PoT, 도구-통합 추론)을 적용하여 DeepSeekMath-Instruct 7B를 얻는다.
• Group Relative Policy Optimization(GRPO)을 개발한다. 이는 그룹 점수를 기준으로 사용하고 별도의 가치 함수는 생략하는 PPO 변형이다.
• 도구 사용 여부에 따른 수학 풀이, 형식적 증명, 일반 NLU/코드 과제를 포함한 영어 및 중국어 벤치마크를 평가한다.
• RFT, DPO, PPO, GRPO를 비교하는 통합 프레임워크를 제공하고 RL 요소를 분석한다.

실험 결과

연구 질문

• RQ1 다국어 코퍼스에서의 대규모 수학 사전 학습이 영어 및 중국어 벤치마크의 수학적 추론에 어떤 영향을 미치는가?
• RQ2 분리된 크리틱 모델 없이 GRPO가 수학 RL의 효율성과 성능을 향상시킬 수 있는가?
• RQ3 수학 중심의 사전 학습이 수학 외의 일반 추론 및 코딩 능력을 향상시키는가?
• RQ4 CoT/PoT/도구 기반 추론을 이용한 지시 튜닝이 오픈 소스 모델에 미치는 영향은 무엇인가?
• RQ5 다양한 RL 지도 학습 전략(outcome vs process)이 수학 작업의 성능에 어떻게 영향을 미치는가?

주요 결과

• DeepSeekMath-Base 7B는 강력한 영어 및 중국어 수학 성능을 달성하여 여러 벤치마크에서 다수의 오픈 소스 기준치보다 우수하다.
• DeepSeekMath-Instruct 7B와 DeepSeekMath-RL 7B가 최고의 오픈 소스 성능에 도달하며, RL이 MATH 및 기타 작업에서 상당한 이득을 가능하게 한다.
• GRPO, 메모리 효율적인 PPO 변형은 영어 지시 튜닝 데이터만 사용해도 상당한 개선을 보여 주며, 도메인 내외 수학 성능을 향상시킨다.
• 수학 사전 학습은 수학 특화 추론 능력과 일반 추론 능력을 모두 향상시키며, MMLU 및 BBH 벤치마크를 포함한다.
• 도구 사용이 가능한 추론과 chain-of-thought 프롬프트는 수학 문제 풀이를 더욱 향상시키며, DeepSeekMath-RL은 크기가 크거나 유사한 모델보다 성능이 우수하다.
• 저자들은 RFT, DPO, PPO, GRPO가 직접적이거나 간소화된 RL 방법으로 어떻게 연결되는지에 대한 통합 패러다를 제시하고, RL 효율성의 원인을 논의한다.