[论文解读] From Beginner to Expert: Modeling Medical Knowledge into General LLMs

Qiang Li, Xiaoyan Yang+15 more|arXiv (Cornell University)|Dec 2, 2023

Topic Modeling被引用 4

一句话总结

本文提出一种三阶段微调框架，将通用的100亿参数大语言模型（AntGLM-10B）转化为医学专家模型（AntGLM-Med-10B），通过持续预训练实现医学知识注入、特定领域指令微调以及任务特定适应。该方法采用一种新颖的‘选项验证’提示策略，在PubMedQA基准上实现最先进性能，超越许多参数量更大的大语言模型，包括参数量超过400亿的模型。

ABSTRACT

Recently, large language model (LLM) based artificial intelligence (AI) systems have demonstrated remarkable capabilities in natural language understanding and generation. However, these models face a significant challenge when it comes to sensitive applications, such as reasoning over medical knowledge and answering medical questions in a physician-like manner. Prior studies attempted to overcome this challenge by increasing the model size (>100B) to learn more general medical knowledge, while there is still room for improvement in LLMs with smaller-scale model sizes (<100B). In this work, we start from a pre-trained general LLM model (AntGLM-10B) and fine-tune it from a medical beginner towards a medical expert (called AntGLM-Med-10B), which leverages a 3-stage optimization procedure, i.e., general medical knowledge injection, medical domain instruction tuning, and specific medical task adaptation. Our contributions are threefold: (1) We specifically investigate how to adapt a pre-trained general LLM in medical domain, especially for a specific medical task. (2) We collect and construct large-scale medical datasets for each stage of the optimization process. These datasets encompass various data types and tasks, such as question-answering, medical reasoning, multi-choice questions, and medical conversations. (3) Specifically for multi-choice questions in the medical domain, we propose a novel Verification-of-Choice approach for prompting engineering, which significantly enhances the reasoning ability of LLMs. Remarkably, by combining the above approaches, our AntGLM-Med-10B model can outperform the most of LLMs on PubMedQA, including both general and medical LLMs, even when these LLMs have larger model size.

研究动机与目标

• 解决在不单纯依赖扩大模型参数量的前提下，将通用大语言模型适配为医学专家的差距问题。
• 开发一种系统化、多阶段的微调流程，将医学初学者模型转化为医学专家模型。
• 为每个适配阶段构建多样化、大规模的医学数据集，涵盖问答、推理、多选题和医学对话。
• 通过一种新颖的提示技术——‘选项验证’（Verification-of-Choice），提升大语言模型在多选题医学推理任务中的表现。
• 证明经过良好优化的小型模型（100亿参数）可在医学基准任务中超越更大规模的通用或专用医学大模型。

提出的方法

• 在大规模医学文本上应用持续预训练，将基础医学知识注入基础大语言模型。
• 使用多样化指令跟随数据（包括问答、推理和多选题任务）进行医学领域指令微调。
• 在特定医学基准上执行任务特定微调，以校准模型达到专家级性能。
• 引入‘选项验证’提示方法，通过独立评估每个答案选项后再进行最终选择，来结构化推理过程。
• 采用多数据集、多任务训练策略（CPoly），以提升在PubMedQA上的泛化能力和性能表现。
• 利用参数高效微调（LoRA）技术，在各阶段实现高效模型适配，同时将计算开销降至最低。

实验结果

研究问题

• RQ1 通过结构化、多阶段微调，能否有效将小型通用大语言模型转化为医学专家？
• RQ2 在医学语料上进行持续预训练在多大程度上提升了模型的基础医学知识？
• RQ3 特定领域的指令微调在多大程度上增强了医学大语言模型的推理能力与任务泛化能力？
• RQ4 像‘选项验证’这样的新颖提示策略是否能显著提升标准提示方法在多选题医学推理任务中的表现？
• RQ5 经过良好优化的小型模型（100亿参数）是否能在医学问答基准任务中超越更大规模的专用医学大模型？

主要发现

• AntGLM-Med-10B在PubMedQA上达到最先进性能，超越了绝大多数其他大语言模型，包括参数量超过400亿的模型。
• 三阶段微调流程——持续预训练、指令微调和任务特定适应——在所有阶段均带来持续且显著的性能提升。
• ‘选项验证’提示方法通过支持逐项选择的结构化验证，提升了多选题医学推理的逻辑完整性。
• 与单数据集微调相比，多数据集、多任务训练（CPoly）显著提升了性能，且随着更多数据集的引入，性能持续提升。
• 基于LoRA的微调在相同数据集上表现优于标准微调，表明其在参数高效适配中的有效性。
• 该模型在医学推理和问答任务中展现出强大的零样本和少样本泛化能力，表明其能从训练数据中有效提炼知识。