[论文解读] Cross-modality Attention Adapter: A Glioma Segmentation Fine-tuning Method for SAM Using Multimodal Brain MR Images

Xiaoyu Shi, Shurong Chai+5 more|arXiv (Cornell University)|Jul 3, 2023

Brain Tumor Detection and Classification被引用 5

一句话总结

本文提出了一种跨模态注意力适配器（CMA），用于在多模态脑部MRI中微调分割一切模型（SAM）以实现胶质母细胞瘤分割，利用T1、T1c、T2和FLAIR序列之间的跨注意力机制。该方法在私有胶质母细胞瘤数据集上实现了88.38%的Dice分数和10.64的Hausdorff距离，相较于最先进方法在Dice分数上提升了4%，表明其在小样本医学影像数据集上具有更强的泛化能力。

ABSTRACT

According to the 2021 World Health Organization (WHO) Classification scheme for gliomas, glioma segmentation is a very important basis for diagnosis and genotype prediction. In general, 3D multimodal brain MRI is an effective diagnostic tool. In the past decade, there has been an increase in the use of machine learning, particularly deep learning, for medical images processing. Thanks to the development of foundation models, models pre-trained with large-scale datasets have achieved better results on a variety of tasks. However, for medical images with small dataset sizes, deep learning methods struggle to achieve better results on real-world image datasets. In this paper, we propose a cross-modality attention adapter based on multimodal fusion to fine-tune the foundation model to accomplish the task of glioma segmentation in multimodal MRI brain images with better results. The effectiveness of the proposed method is validated via our private glioma data set from the First Affiliated Hospital of Zhengzhou University (FHZU) in Zhengzhou, China. Our proposed method is superior to current state-of-the-art methods with a Dice of 88.38% and Hausdorff distance of 10.64, thereby exhibiting a 4% increase in Dice to segment the glioma region for glioma treatment.

研究动机与目标

• 为解决胶质母细胞瘤分割中医学影像标注数据有限的挑战，通过将基础模型适配至小样本数据集。
• 提升分割一切模型（SAM）在多模态脑部MRI中用于胶质母细胞瘤诊断的分割性能。
• 开发一种参数高效的微调方法，以有效融合多种MRI序列（T1、T1c、T2、FLAIR）的信息。
• 在郑州大学第一附属医院的真实胶质母细胞瘤数据集上验证该方法。
• 在胶质母细胞瘤分割任务中实现优于现有最先进方法的性能表现。

提出的方法

• 该方法引入了一个跨模态注意力适配器（CMA）模块，用于学习不同MRI序列（T1、T1c、T2、FLAIR）特征之间的跨注意力交互。
• CMA模块被插入到SAM的视觉编码器中，通过跨注意力机制实现模态特异性特征优化，而无需微调整个主干网络。
• 多模态特征经过拼接后，通过一个轻量级适配器头处理，生成分割掩码。
• 模型在私有胶质母细胞瘤数据集上通过二元交叉熵损失与Dice损失的组合进行端到端微调。
• 适配器以较低的学习率进行训练，以保留预训练特征的同时适应医学影像领域。
• 该方法实现了对SAM的参数高效适配，无需大规模重训练即可完成胶质母细胞瘤分割任务。

实验结果

研究问题

• RQ1 跨模态注意力适配器是否能有效提升SAM在多模态脑部MRI中胶质母细胞瘤分割的性能？
• RQ2 在小样本医学影像数据集上，该方法与现有微调方法相比，在分割准确率和鲁棒性方面表现如何？
• RQ3 不同MRI序列之间的跨注意力在多大程度上增强了胶质母细胞瘤区域定位的特征表示？
• RQ4 在适配特定医学影像任务的同时，该适配器是否保持了SAM的泛化能力？
• RQ5 通过注意力机制实现的模态融合对胶质母细胞瘤分割的Dice分数和Hausdorff距离有何影响？

主要发现

• 所提方法在私有胶质母细胞瘤数据集上实现了88.38%的Dice分数，显著优于先前最先进方法。
• 该方法将Hausdorff距离降低至10.64，表明胶质母细胞瘤区域边界定位能力得到提升。
• 与现有方法相比，Dice分数提升了4%，显示出显著的性能增益。
• 跨模态注意力适配器在不重训练整个SAM主干网络的前提下，实现了多模态MRI特征的有效融合。
• 该方法仅通过极少的参数更新即保持高性能，证明了其高效性与可迁移性。
• 实验结果验证了该适配器在提升SAM于小样本医学图像分割任务中性能方面的有效性。