[论文解读] BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks

Kai Zhang, Rong Zhou+21 more|arXiv (Cornell University)|May 26, 2023

Artificial Intelligence in Healthcare and Education参考文献 84被引用 51

一句话总结

BiomedGPT 是一个用于多样生物医学任务的开源通用视觉-语言模型，在 26 个数据集的 25 个实验中实现 15 项 SOTA，拥有 182M 参数并实现零-shot 迁移。

ABSTRACT

Traditional biomedical artificial intelligence (AI) models, designed for specific tasks or modalities, often exhibit limited flexibility in real-world deployment and struggle to utilize holistic information. Generalist AI holds the potential to address these limitations due to its versatility in interpreting different data types and generating tailored outputs for diverse needs. However, existing biomedical generalist AI solutions are typically heavyweight and closed source to researchers, practitioners, and patients. Here, we propose BiomedGPT, the first open-source and lightweight vision-language foundation model, designed as a generalist capable of performing various biomedical tasks. BiomedGPT achieved state-of-the-art results in 16 out of 25 experiments while maintaining a computing-friendly model scale. We also conducted human evaluations to assess the capabilities of BiomedGPT in radiology visual question answering, report generation, and summarization. BiomedGPT exhibits robust prediction ability with a low error rate of 3.8% in question answering, satisfactory performance with an error rate of 8.3% in writing complex radiology reports, and competitive summarization ability with a nearly equivalent preference score to human experts. Our method demonstrates that effective training with diverse data can lead to more practical biomedical AI for improving diagnosis and workflow efficiency.

研究动机与目标

• 推动一个统一的、通用的 AI 模型，以覆盖跨成像与文本的多样生物医学任务。
• 在多样化的多模态生物医学数据上对单一模型进行预训练，学习通用表示。
• 通过任务特定指令进行微调，以处理仅视觉、语言和多模态任务。
• 评估相对于大型闭源模型的性能，并展示在现实世界部署的潜力。
• 通过开源模型检查点、训练数据处理流程和代码，促进透明度。

提出的方法

• 使用带有 BERT 风格编码器和 GPT 风格解码器的序列到序列 BiomedGPT。
• 在14个可自由获取的生物医学数据集上进行预训练，覆盖成像、文本和多模态数据（352,567 张图像；~183M 条文本句子；46,408 对象标签；~271,803 对图像-文本对）。
• 采用五个预训练任务：仅图像的掩蔽图像建模、仅文本的掩蔽语言建模、图像描述生成，以及视觉问答（VQA）。
• 通过基于指令的提示针对五大医疗 AI 任务（分类、语言理解、摘要、描述生成、VQA）对25个下游数据集进行微调。
• 探索三种模型规模（BiomedGPT-S、-M、-B）以研究规模效应；从 OFA 初始化以注入通用和医学知识。

Figure 1: The overview of BiomedGPT: workflow, performance and pretraining datasets. (a) Graphical illustration of how BiomedGPT handle multi-modal inputs and perform diverse downstream tasks. The expected form of output for each task is determined by feeding the specific instruction to the model. (

实验结果

研究问题

• RQ1 一个统一的单一模型是否能够在视觉与语言跨多模态任务上有效处理多种生物医学模态？
• RQ2 多样化的多任务预训练是否提高生物医学领域的一般化与下游性能？
• RQ3 模型规模如何影响在视觉、语言理解和多模态生物医学任务上的性能？
• RQ4 与大型多模态系统相比，统一生物医学模型的零-shot VQA 能力如何？
• RQ5 BiomedGPT 在现实世界部署和放射科医生评估中的表现如何？

主要发现

• BiomedGPT 在 26 个数据集的 25 项实验中实现了 15 项最先进（SOTA）的结果。
• 182M 参数的 BiomedGPT-B 模型在 VQA-RAD 和 SLAKE 上优于 Med-PaLM M（12B）且差距很大，并且几乎达到 PathVQA。
• 在图像描述方面，BiomedGPT 在 PEIR GROSS 上超越 SOTA，CIDEr 指标有显著提高；在各数据集上均强调 CIDEr 的提升。
• 在基于 MedMNIST 的11个数据集的医学图像分类中，BiomedGPT 超越了若干基线，随着模型规模增大，在高分辨率数据集上有显著提升。
• BiomedGPT 展示出强劲的零-shot VQA 能力，能够在没有额外任务特定组件的情况下生成自由形式答案，在部分评估中与 GPT-4V 的表现相当。

Figure 2: BiomedGPT performs fine-tuning for vision-language downstream tasks. (a) Graphical illustration of inference workflow of BiomedGPT for VQA task. Our model can discrete both visual and linguistic inputs from questions into tokens and generated the corresponding answers. (b) VQA performance