[论文解读] BreastSAM: A Study of Segment Anything Model for Breast Tumor Detection in Ultrasound Images

Mingzhe Hu, Yuheng Li+1 more|arXiv (Cornell University)|May 21, 2023

AI in cancer detection被引用 7

一句话总结

本文提出 BreastSAM，即对 Segment Anything Model (SAM) 进行微调以实现超声图像中乳腺肿瘤的交互式分割。采用 ViT-l 作为主干网络，并利用基于提示的交互方式，该方法在 Dice 分数为 0.89、IoU 为 0.78 的情况下实现了最先进性能，尽管在复杂边界下仍表现出强鲁棒性，适用于良性和恶性肿瘤。

ABSTRACT

Breast cancer is one of the most common cancers among women worldwide, with early detection significantly increasing survival rates. Ultrasound imaging is a critical diagnostic tool that aids in early detection by providing real-time imaging of the breast tissue. We conducted a thorough investigation of the Segment Anything Model (SAM) for the task of interactive segmentation of breast tumors in ultrasound images. We explored three pre-trained model variants: ViT_h, ViT_l, and ViT_b, among which ViT_l demonstrated superior performance in terms of mean pixel accuracy, Dice score, and IoU score. The significance of prompt interaction in improving the model's segmentation performance was also highlighted, with substantial improvements in performance metrics when prompts were incorporated. The study further evaluated the model's differential performance in segmenting malignant and benign breast tumors, with the model showing exceptional proficiency in both categories, albeit with slightly better performance for benign tumors. Furthermore, we analyzed the impacts of various breast tumor characteristics - size, contrast, aspect ratio, and complexity - on segmentation performance. Our findings reveal that tumor contrast and size positively impact the segmentation result, while complex boundaries pose challenges. The study provides valuable insights for using SAM as a robust and effective algorithm for breast tumor segmentation in ultrasound images.

研究动机与目标

• 研究 Segment Anything Model (SAM) 在超声图像中分割乳腺肿瘤的可行性和性能。
• 评估不同 SAM 主干变体（ViT_h、ViT_l、ViT_b）对分割精度的影响。
• 分析提示交互如何在交互式设置中提升分割性能。
• 评估模型在良性和恶性肿瘤之间的泛化能力，以及在不同肿瘤特征下的表现。
• 识别影响分割成功率的关键肿瘤特征——大小、对比度、长宽比和边界复杂度。

提出的方法

• 使用自定义的乳腺超声图像数据集对 Segment Anything Model (SAM) 进行微调，以实现肿瘤分割。
• 评估三种 SAM 变体：ViT_h、ViT_l 和 ViT_b，基于性能指标选择 ViT_l 作为最优主干网络。
• 采用基于提示的交互方式，包括点提示和框提示，以引导模型的分割预测。
• 使用标准指标（平均像素准确率、Dice 分数和 IoU）进行模型训练与验证。
• 开展消融研究，以隔离提示使用对分割性能的影响。
• 分析肿瘤特定特征（大小、对比度、长宽比和边界复杂度）对分割结果的影响。

实验结果

研究问题

• RQ1 在超声图像中，哪种 SAM 主干变体（ViT_h、ViT_l、ViT_b）对乳腺肿瘤分割性能最佳？
• RQ2 在乳腺超声成像背景下，基于提示的交互如何提升 SAM 的分割精度？
• RQ3 该模型在良性和恶性乳腺肿瘤上的表现是否相当，还是存在性能差异？
• RQ4 肿瘤大小和对比度如何影响所提出框架中的分割性能？
• RQ5 复杂的肿瘤边界在多大程度上阻碍了 BreastSAM 模型的分割精度？

主要发现

• SAM 的 ViT_l 变体表现最佳，Dice 分数为 0.89，IoU 为 0.78，优于 ViT_b 和 ViT_h。
• 提示交互显著提升了分割指标，证明了人机协同引导在肿瘤勾画中的价值。
• 模型在良性肿瘤上的表现略好于恶性肿瘤，但两类肿瘤均实现了高精度分割。
• 肿瘤对比度和大小与分割性能呈正相关，表明更清晰、更大的肿瘤更容易分割。
• 复杂的肿瘤边界构成显著挑战，导致 IoU 和 Dice 分数下降，尤其在不规则形状病灶中更为明显。
• 本研究证实，当经过微调并结合提示时，SAM 是一种鲁棒且高效的乳腺肿瘤超声成像分割解决方案。