[论文解读] M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models

Fan Bai, Yuxin Du+3 more|arXiv (Cornell University)|Mar 31, 2024

Medical Imaging and Analysis被引用 15

一句话总结

这篇论文构建了 M3D-Data，一个大规模的三维医学多模态数据集；引入了 M3D-LaMed，一个通用的 3D 多模态大语言模型；并提出 M3D-Bench 用于八项任务，在 3D 图像-文本检索、报告生成、VQA、定位和分割等方面取得了强劲结果。

ABSTRACT

Medical image analysis is essential to clinical diagnosis and treatment, which is increasingly supported by multi-modal large language models (MLLMs). However, previous research has primarily focused on 2D medical images, leaving 3D images under-explored, despite their richer spatial information. This paper aims to advance 3D medical image analysis with MLLMs. To this end, we present a large-scale 3D multi-modal medical dataset, M3D-Data, comprising 120K image-text pairs and 662K instruction-response pairs specifically tailored for various 3D medical tasks, such as image-text retrieval, report generation, visual question answering, positioning, and segmentation. Additionally, we propose M3D-LaMed, a versatile multi-modal large language model for 3D medical image analysis. Furthermore, we introduce a new 3D multi-modal medical benchmark, M3D-Bench, which facilitates automatic evaluation across eight tasks. Through comprehensive evaluation, our method proves to be a robust model for 3D medical image analysis, outperforming existing solutions. All code, data, and models are publicly available at: https://github.com/BAAI-DCAI/M3D.

研究动机与目标

• 促使以多模态大语言模型（MLLMs）推动三维医学影像分析的进步。
• 创建一个大规模的三维医学数据集及相应基准，以支持稳健的多模态任务。
• 开发一个通用的 3D MLLM，能够进行检索、报告生成、VQA、定位和分割。
• 通过一个基于 LLM 的基准实现自动评估。

提出的方法

• 从头开始对 3D 视觉编码器进行预训练，使用在 M3D-Cap 上的类似 CLIP 的跨模态损失。
• 引入一个 3D 空间池化感知器以减少令牌数量并使嵌入与 LLM 对齐。
• 通过端到端微调将预训练的 LLaMA-2-7B LLM 与 3D 感知器整合。
• 引入可提示的分割模块 (SegVol) 以实现 3D 视觉-语言分割。
• 利用 LoRA 对 LLM 进行参数高效微调，以保留先前知识。
• 在 eight 个任务上通过 M3D-Bench 进行评估，包括图像-文本检索、报告生成、VQA、定位和分割。

Figure 1 : The generation pipelines for M3D-Data. (a) In the VQA data generation pipeline, we employ LLM to generate five types of questions from medical reports using a prompt-based method. Subsequently, we eliminate dirty data through self-filtering and check the test set by LLM and experts, achie

实验结果

研究问题

• RQ1 3D 医学图像是否可以通过带有 3D 视觉编码器和 3D 感知器的多模态大语言模型有效分析？
• RQ2 大规模的三维医学多模态数据集（M3D-Data）如何支持检索、RG、VQA、定位、分割等多样化任务？
• RQ3 与现有基线相比，M3D-LaMed 在八项任务上的表现如何？
• RQ4 可提示的分割模块是否能够在 3D 医学图像中实现指称表达分割？
• RQ5 是否可以用一个基于 LLM 的基准（M3D-Bench）对 3D 任务进行自动评估？

主要发现

• M3D-Data 包含 120K 3D 图文对和 662K 指令-应答对，支持 8 项任务。
• M3D-LaMed 在检索、VQA、定位和分割等广泛任务上优于此前的 3D MLLMs。
• 3D 图像-文本检索在所有测试设置中相较于 2D 基线（PMC-CLIP）有显著提升，在 IR 和 TR 指标上实现大幅改进。
• 报告生成在 BLEU、ROUGE、METEOR 和 BERT-Score 方面以及基于 LLN 的评估中优于 RadFM。
• VQA（闭合式和开放式）和定位任务显示强劲提升，消融研究强调视觉预训练、空间池化、MLP 设计及解锁视觉编码器的重要性。
• 分割任务（语义和指称表达）超越先前方法，并在 3D 中实现指称表达分割。

Figure 2 : The data statistics of M3D-VQA on five question types. What, which, and where are 3 typical questions. Samples of 5 topics are displayed in word clouds.