[论文解读] Prompt-Free SAM-Based Multi-Task Framework for Breast Ultrasound Lesion Segmentation and Classification

Samuel Ebimobowei Johnny, Bernes L. Atabonfack+2 more|arXiv (Cornell University)|Jan 9, 2026

AI in cancer detection被引用 0

一句话总结

该论文提出一个无提示多任务框架，使用 SAM 视觉编码器特征联合分割乳腺超声病灶并将其分类为正常、良性或恶性，掩模引导的注意力提升分类性能。

ABSTRACT

Accurate tumor segmentation and classification in breast ultrasound (BUS) imaging remain challenging due to low contrast, speckle noise, and diverse lesion morphology. This study presents a multi-task deep learning framework that jointly performs lesion segmentation and diagnostic classification using embeddings from the Segment Anything Model (SAM) vision encoder. Unlike prompt-based SAM variants, our approach employs a prompt-free, fully supervised adaptation where high-dimensional SAM features are decoded through either a lightweight convolutional head or a UNet-inspired decoder for pixel-wise segmentation. The classification branch is enhanced via mask-guided attention, allowing the model to focus on lesion-relevant features while suppressing background artifacts. Experiments on the PRECISE 2025 breast ultrasound dataset, split per class into 80 percent training and 20 percent testing, show that the proposed method achieves a Dice Similarity Coefficient (DSC) of 0.887 and an accuracy of 92.3 percent, ranking among the top entries on the PRECISE challenge leaderboard. These results demonstrate that SAM-based representations, when coupled with segmentation-guided learning, significantly improve both lesion delineation and diagnostic prediction in breast ultrasound imaging.

研究动机与目标

• 通过联合分割与分类推动对乳腺超声分析的鲁棒性研究。
• 在端到端推理中利用无提示的 Segment Anything Model (SAM)嵌入。
• 通过分割引导的注意力提升分类，以聚焦病灶区域。
• 在 PRECISE 2025 数据集上展示强大的分割与诊断指标性能。

提出的方法

• 从 1024x1024 的 BUS 图像中提取 SAM 视觉编码器（ViT-B/16）特征作为共享嵌入。
• 提供两种分割解码器选项：一个轻量化卷积头或一个受 U-Net 启发的解码器。
• 引入掩模引导的注意力，将分类器条件化在分割预测之上。
• 使用加权多任务损失进行训练，结合分割（BCE+Dice）和分类（交叉熵）损失。
• 采用三阶段的课程式训练，以稳定多任务学习。

实验结果

研究问题

• RQ1 无提示的 SAM 嵌入是否能支持对乳腺超声病灶的准确联合分割与分类？
• RQ2 掩模引导的注意力是否通过聚焦病灶区域来提升诊断准确性？
• RQ3 在使用 SAM 特征时，轻量解码器是否足以实现高质量分割？
• RQ4 端到端多任务训练对分割与分类性能有何影响？

主要发现

指标	Baseline (Aumente-Maestro 等, 2025b)	BI-RADS (Bobowicz 等, 2024)	EDCNN (Islam 等, 2024)	本研究方法
Classification Accuracy	71.06	89.23	80.45	90.7
Classification F1-Score	0.693	0.893	0.7646	0.887
Classification AUC	0.761	0.964	0.9322	0.981
Segmentation DSC	0.153	0.806	0.583	0.887
Segmentation HD95 (mm)	83.11	30.63	45.48	60.838
Segmentation NSD	0.007	0.433	0.313	0.503

• 在 PRECISE 2025 数据集上，分割的 Dice 相似系数为 0.887，分类准确率为 92.3%。
• 分类 AUC 达到 0.981，超越基线方法。
• 在所述表格中，分类（准确率 90.7%，AUC 0.981）和分割（DSC 0.887）均优于现有方法。
• 消融研究表明，掩模引导的注意力提升了分类性能，而更简单的解码器在利用 SAM 特征时也能实现较强的分割。