[论文解读] Comparative Analysis of Segment Anything Model and U-Net for Breast Tumor Detection in Ultrasound and Mammography Images

Mohsen Ahmadi, Masoumeh Farhadi Nia+5 more|arXiv (Cornell University)|Jun 21, 2023

AI in cancer detection被引用 5

一句话总结

本研究比较了U-Net与预训练的Segment Anything Model（SAM）在超声和乳腺X线摄影图像中乳腺肿瘤分割的表现。基于包含良性与恶性肿瘤标注的多样化数据集，U-Net在准确性方面优于SAM，尤其在不规则、异质性或边界不清晰的肿瘤上表现更优，显示出其在医学图像分割任务中的优越性。

ABSTRACT

In this study, the main objective is to develop an algorithm capable of identifying and delineating tumor regions in breast ultrasound (BUS) and mammographic images. The technique employs two advanced deep learning architectures, namely U-Net and pretrained SAM, for tumor segmentation. The U-Net model is specifically designed for medical image segmentation and leverages its deep convolutional neural network framework to extract meaningful features from input images. On the other hand, the pretrained SAM architecture incorporates a mechanism to capture spatial dependencies and generate segmentation results. Evaluation is conducted on a diverse dataset containing annotated tumor regions in BUS and mammographic images, covering both benign and malignant tumors. This dataset enables a comprehensive assessment of the algorithm's performance across different tumor types. Results demonstrate that the U-Net model outperforms the pretrained SAM architecture in accurately identifying and segmenting tumor regions in both BUS and mammographic images. The U-Net exhibits superior performance in challenging cases involving irregular shapes, indistinct boundaries, and high tumor heterogeneity. In contrast, the pretrained SAM architecture exhibits limitations in accurately identifying tumor areas, particularly for malignant tumors and objects with weak boundaries or complex shapes. These findings highlight the importance of selecting appropriate deep learning architectures tailored for medical image segmentation. The U-Net model showcases its potential as a robust and accurate tool for tumor detection, while the pretrained SAM architecture suggests the need for further improvements to enhance segmentation performance.

研究动机与目标

• 开发并评估一种基于深度学习的算法，以实现乳腺超声和乳腺X线摄影图像中肿瘤的精确检测与分割。
• 在乳腺肿瘤分割背景下，比较专门用于医学图像分割的U-Net与预训练的Segment Anything Model（SAM）的性能。
• 评估模型在各类肿瘤类型中的鲁棒性，包括形状不规则、边界不明显及高度异质性的肿瘤。
• 识别当前最先进模型在临床影像应用中的架构优势与局限性。
• 为乳腺癌诊断中医学图像分割任务的模型选择提供基于证据的指导。

提出的方法

• 采用U-Net，一种专为生物医学图像分割设计的全卷积编码器-解码器架构。
• 采用预训练的Segment Anything Model（SAM），其基于视觉Transformer主干网络，并使用基于提示的分割头生成分割掩码。
• 在包含超声和乳腺X线摄影模态中已标注肿瘤区域的多样化数据集上，对两种模型进行训练与评估。
• 应用标准评估指标，如Dice相似性系数（DSC）、Jaccard指数和敏感性，以量化分割性能。
• 对具有挑战性的病例开展消融研究，包括边界微弱、形状复杂及异质性高的肿瘤。
• 采用数据增强和迁移学习技术以提升泛化能力，尤其针对U-Net架构。

实验结果

研究问题

• RQ1 U-Net与预训练的Segment Anything Model（SAM）在超声和乳腺X线摄影图像中分割乳腺肿瘤的表现如何比较？
• RQ2 在肿瘤边界定义和形状不规则性方面，U-Net在哪些场景下优于SAM？
• RQ3 当边界不清晰或肿瘤高度异质时，两种模型在恶性与良性肿瘤上的表现如何，尤其在这些情况下？
• RQ4 预训练的SAM模型在需要精细分割的医学影像任务中存在哪些局限性？
• RQ5 与通用分割模型如SAM相比，U-Net架构是否能在多种肿瘤形态和成像模态下保持更优的性能？

主要发现

• U-Net在超声和乳腺X线摄影数据集上的Dice相似性系数（DSC）得分显著高于预训练的SAM模型。
• U-Net在分割形状不规则、边界微弱及高度异质的肿瘤方面表现更优，这类特征在恶性病例中较为常见。
• 预训练的SAM模型在准确定位肿瘤区域方面表现不佳，尤其在恶性肿瘤及具有复杂或边界模糊的物体上。
• U-Net在良性与恶性肿瘤类型中均保持一致的性能，表明其对肿瘤病理类型的鲁棒性。
• SAM在低对比度和模糊边缘的病例中表现显著降低，凸显其在精细医学分割中的局限性。
• 结果表明，尽管SAM在通用图像分割中表现良好，但其缺乏实现精确医学肿瘤勾画所必需的归纳偏差与架构专业化。