[论文解读] GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

Pengcheng Chen, Ye Jin+16 more|arXiv (Cornell University)|Aug 6, 2024

Artificial Intelligence in Healthcare被引用 8

一句话总结

GMAI-MMBench 是一个全面的多模态医学 AI 基准测试，覆盖 285 个数据集、39 种模态，用于评估 LVLMs，报告即使像 GPT-4o 这样的顶尖模型也仅达约 52% 的准确率，并突出显示关键的不足。

ABSTRACT

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs' effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 284 datasets across 38 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 53.96%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI.

研究动机与目标

• 建立一个全面、具有临床相关性的通用医学 AI (GMAI) 多模态基准，适用于各种模态、任务和科室。
• 提供一个结构良好的词汇树，以实现高度可定制的评估，满足特定临床需求。
• 评估广泛的 LVLMs（医学专用、开源和专有），以识别医学 AI 的优势、劣势及改进方向。
• 为真实世界临床场景中的交互式 LVLMs 提供感知粒度要求（如图像级、区域级）的见解。

提出的方法

• 汇集来自公共来源和医院的 285 个高质量数据集，覆盖 39 种模态和 18 个临床 VQA 任务，跨 18 个科室。
• 使用 SA-Med2D-20M 协议和 MeSH 术语对图像和标签进行标准化，以确保一致性并减少歧义。
• 构建一个包含 18 个临床 VQA 任务、18 个科室和 4 种感知粒度的词汇树，以实现定制化评估。
• 生成 26K 对 QA 对，带有模态、任务提示和粒度注释；进行人工验证和筛选以确保质量和均衡。
• 在零样本设置下，使用 VLMEvalKit 和 Multi-Modality-Arena 框架对 44 种 LVLMs（开源和医学专用）以及 6 种专有模型进行评估。

实验结果

研究问题

• RQ1 当前的 LVLMs 在广泛且具有临床现实感的医学模态和任务集合上的表现如何？
• RQ2 在不同感知粒度（图像、盒子、掩模、轮廓）和交互线索下评估时，LVLMs 的表现如何？
• RQ3 在医学诊断与推理中，哪些因素最限制 LVLMs 的能力，以及医学领域模型与通用模型相比如何？
• RQ4 一个良好分类的词汇树基准是否能支持针对不同临床科室和需求的定制化评估？

主要发现

• GPT-4o 在 GMAI-MMBench 上达到 52.24% 的准确率，表明在临床任务上仍有相当大的改进空间。
• 像 MedDr 和 DeepSeek-VL-7B 这样的开源 LVLMs 的准确率约为 41%，相对于某些专有模型展现出竞争力。
• 大多数医学专用 LVLMs 难以达到中等水平的表现（约 30%），在某些设置中 MedDr 是医学专用模型中表现最佳。
• 与图像级或其他粒度相比，盒子级感知始终提供最低的准确率，凸显了基于区域推理的挑战。
• 主要瓶颈包括感知错误、有限的医学领域知识、无关回答以及对答案的安全性/拒答。