[论文解读] Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models

Sumit Pandey, Kuan‐Fu Chen+1 more|arXiv (Cornell University)|Oct 4, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本论文提出了一种混合深度学习框架，结合 YOLOv8 进行目标检测，以及 SAM 和 HQ-SAM 实现对超声、CT 和 X 射线等多种医学影像模态的精确分割。在每种模态仅使用 100 张图像进行训练的情况下，YOLOv8+SAM 流水线在分割精度上优于基线模型，其中 SAM 在 Dice Score 和 F1 等关键指标上表现优于 YOLOv8 和 HQ-SAM，尽管 HQ-SAM 计算成本更高，但其在临床应用中展现出强大的潜力。

ABSTRACT

This paper introduces a comprehensive approach for segmenting regions of interest (ROI) in diverse medical imaging datasets, encompassing ultrasound, CT scans, and X-ray images. The proposed method harnesses the capabilities of the YOLOv8 model for approximate boundary box detection across modalities, alongside the Segment Anything Model (SAM) and High Quality (HQ) SAM for fully automatic and precise segmentation. To generate boundary boxes, the YOLOv8 model was trained using a limited set of 100 images and masks from each modality. The results obtained from our approach are extensively computed and analyzed, demonstrating its effectiveness and potential in medical image analysis. Various evaluation metrics, including precision, recall, F1 score, and Dice Score, were employed to quantify the accuracy of the segmentation results. A comparative analysis was conducted to assess the individual and combined performance of the YOLOv8, YOLOv8+SAM, and YOLOv8+HQ-SAM models. The results indicate that the SAM model performs better than the other two models, exhibiting higher segmentation accuracy and overall performance. While HQ-SAM offers potential advantages, its incremental gains over the standard SAM model may not justify the additional computational cost. The YOLOv8+SAM model shows promise for enhancing medical image segmentation and its clinical implications.

研究动机与目标

• 解决在有限标注数据下，跨多种医学影像模态实现准确且可泛化分割的挑战。
• 整合 YOLOv8 的快速、鲁棒检测能力与 SAM 和 HQ-SAM 的零样本泛化能力，实现端到端分割。
• 在多种影像类型中，统一框架下评估 YOLOv8 单独、YOLOv8+SAM 和 YOLOv8+HQ-SAM 的性能。
• 量化在临床部署场景中，使用 HQ-SAM 相较于标准 SAM 时，分割精度与计算成本之间的权衡。

提出的方法

• YOLOv8 在每种模态（超声、CT、X 射线）各 100 张标注图像的小型平衡数据集上进行微调，以生成感兴趣区域的初始边界框。
• YOLOv8 预测的边界框被用作 Segment Anything Model (SAM) 和 High-Quality SAM (HQ-SAM) 的提示，以生成精确的实例分割掩码。
• SAM 和 HQ-SAM 以零样本方式应用，无需在医学数据上进行额外微调，充分利用其预训练的零样本泛化能力。
• 通过标准指标（精确率、召回率、F1 分数和 Dice Score）评估分割输出，以量化所有模型和模态的性能。
• 对三种配置进行对比分析：仅 YOLOv8、YOLOv8+SAM 和 YOLOv8+HQ-SAM，以分离分割头的贡献。
• 所有模型均在相同数据集上进行训练和评估，确保在相同条件下实现公平比较。

实验结果

研究问题

• RQ1 与仅使用 YOLOv8 相比，将 YOLOv8 与 SAM 集成后，在多种医学影像模态上的分割精度是否得到提升？
• RQ2 在有限训练数据下，使用 HQ-SAM 相较于标准 SAM 在医学图像分割任务中的相对性能增益如何？
• RQ3 YOLOv8+SAM 流水线是否在仅使用每种模态 100 张标注图像的情况下，实现了医学图像分割的最先进性能？
• RQ4 在临床部署场景中，使用 HQ-SAM 相较于标准 SAM 时，分割质量与计算成本之间的权衡如何？

主要发现

• YOLOv8+SAM 模型在所有评估指标上均达到最高分割性能，优于仅使用 YOLOv8 和 YOLOv8+HQ-SAM 的配置。
• SAM 展现出更优的泛化能力和更高的精度，Dice Score 显著高于 YOLOv8 和 HQ-SAM，表明其在医学图像上具有强大的零样本能力。
• HQ-SAM 相较于标准 SAM 仅带来微小改进，F1 和 Dice Score 无显著提升，难以证明其更高的推理时间和计算负载的合理性。
• YOLOv8+SAM 流水线在所有模态（超声、CT、X 射线）中均实现了高精度和高召回率，表明其对影像差异具有鲁棒性。
• 尽管每种模态仅使用 100 张标注图像，模型仍实现了平均 Dice Score 超过 0.85，证明了其强大的少样本学习能力。
• 结果表明，YOLOv8+SAM 是一种有前景的、高效且准确的临床部署解决方案，适用于多模态医学图像分割。