[논문 리뷰] From Beginner to Expert: Modeling Medical Knowledge into General LLMs

Qiang Li, Xiaoyan Yang외 15명|arXiv (Cornell University)|2023. 12. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 일반적인 10B 파라미터 LLM(antGLM-10B)을 의료 전문가 모델(AntGLM-Med-10B)으로 변환하기 위해 3단계 미세조정 프레임워크를 제안한다. 지속적 사전학습을 통한 의료 지식 주입, 도메인 특화 지시 미세조정, 그리고 과제 특화 적응을 포함한다. 이 방법은 다중 선택 추론을 위한 새로운 '선택지 검증' 프롬프팅 전략을 통해 PubMedQA에서 많은 더 큰 LLM들(40B 이상 파라미터를 가진 것들 포함)을 능가하는 최신 기준 성능을 달성한다.

ABSTRACT

Recently, large language model (LLM) based artificial intelligence (AI) systems have demonstrated remarkable capabilities in natural language understanding and generation. However, these models face a significant challenge when it comes to sensitive applications, such as reasoning over medical knowledge and answering medical questions in a physician-like manner. Prior studies attempted to overcome this challenge by increasing the model size (>100B) to learn more general medical knowledge, while there is still room for improvement in LLMs with smaller-scale model sizes (<100B). In this work, we start from a pre-trained general LLM model (AntGLM-10B) and fine-tune it from a medical beginner towards a medical expert (called AntGLM-Med-10B), which leverages a 3-stage optimization procedure, i.e., general medical knowledge injection, medical domain instruction tuning, and specific medical task adaptation. Our contributions are threefold: (1) We specifically investigate how to adapt a pre-trained general LLM in medical domain, especially for a specific medical task. (2) We collect and construct large-scale medical datasets for each stage of the optimization process. These datasets encompass various data types and tasks, such as question-answering, medical reasoning, multi-choice questions, and medical conversations. (3) Specifically for multi-choice questions in the medical domain, we propose a novel Verification-of-Choice approach for prompting engineering, which significantly enhances the reasoning ability of LLMs. Remarkably, by combining the above approaches, our AntGLM-Med-10B model can outperform the most of LLMs on PubMedQA, including both general and medical LLMs, even when these LLMs have larger model size.

연구 동기 및 목표

• 모델 크기의 확장을 유일한 방법으로 삼지 않고 일반 목적의 LLM을 의료 전문성으로 적응시키는 데 있어 발생하는 격차를 해소하기 위해.
• 의료 초보자 LLM을 의료 전문가로 전환하는 체계적이고 다단계적인 미세조정 절차를 개발하기 위해.
• 각 적응 단계에 맞는 다양한 QA, 추론, 다중 선택, 의료 대화를 포함하는 대규모 의료 데이터셋을 구축하기 위해.
• 의료 분야의 다중 선택 질문에서 LLM의 추론 능력을 향상시키기 위해 새로운 프롬프팅 기법인 '선택지 검증'을 개발하기 위해.
• 더 작은, 잘 미세조정된 LLM이 의료 벤치마크 과제에서 더 큰 일반 또는 의료 전용 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 기본 LLM에 기초적인 의료 지식을 주입하기 위해 대규모 의료 텍스트를 기반으로 지속적 사전학습을 적용한다.
• QA, 추론, 다중 선택 과제를 포함한 다양한 지시 수행 데이터를 사용하여 의료 도메인 지시 미세조정을 수행한다.
• 특정 의료 벤치마크에서 과제 특화 미세조정을 수행하여 모델의 전문가 수준 성능를 캘리브레이션한다.
• 선택지 검증 프롬프팅 방법을 도입하여 각 선택지를 독립적으로 평가한 후 최종 선택을 내리는 방식으로 추론를 구조화한다.
• 다양한 데이터셋과 다중 과제 학습 전략(CPoly)을 사용하여 PubMedQA에서의 일반화 능력과 성능을 향상시킨다.
• 최소한의 계산 오버헤드로 단계별로 모델을 효율적으로 적응시키기 위해 파rameter 효율적 미세조정(LoRA)을 활용한다.

실험 결과

연구 질문

• RQ1 더 작은 일반 목적의 LLM이 체계적이고 다단계적인 미세조정을 통해 의료 전문가로 효과적으로 전환될 수 있는가?
• RQ2 의료 코퍼스에 대한 지속적 사전학습이 모델의 기초 의료 지식을 어떻게 향상시키는가?
• RQ3 의료 도메인 특화 지시 미세조정이 의료 LLM의 추론 능력과 과제 일반화 능력을 어느 정도 향상시키는가?
• RQ4 선택지 검증과 같은 새로운 프롬프팅 전략이 표준 프롬프팅 대비 다중 선택 의료 추론에서 상당한 향상을 이끌 수 있는가?
• RQ5 최적화된 작은 LLM(10B)이 의료 질문-답변 벤치마크에서 더 큰 전문화된 의료 LLM을 능가하는가?

주요 결과

• AntGLM-Med-10B는 PubMedQA에서 대부분의 다른 LLM들을 능가하는 최신 기준 성능을 달성했으며, 40B 이상의 파라미터를 가진 것들 포함해도 마찬가지다.
• 지속적 사전학습, 지시 미세조정, 과제 특화 적응으로 구성된 3단계 미세조정 파이프라인은 모든 단계에서 일관되고 뚜렷한 성능 향상을 이끌어냈다.
• 선택지 검증 프롬프팅 방법은 각 선택지를 독립적으로 검증함으로써 추론의 체계적이고 완전한 논리적 흐름을 가능하게 하여 다중 선택 의료 질문에서의 추론 능력을 향상시켰다.
• 다양한 데이터셋과 다중 과제 학습(CPoly)은 단일 데이터셋 미세조정 대비 성능을 크게 향상시켰으며, 포함된 데이터셋 수가 많을수록 성능이 향상되었다.
• LoRA 기반의 미세조정은 동일한 데이터셋에서 표준 미세조정보다 더 높은 성능을 달성하여, 파rameter 효율적 적응에서의 효과성을 입증했다.
• 모델는 의료 추론 및 QA 과제에서 강력한 zero-shot 및 few-shot 일반화 능력을 보였으며, 이는 훈련 데이터로부터 강력한 지식 전이가 이루어졌음을 시사한다.