[论文解读] Assessing Foundational Medical 'Segment Anything' (Med-SAM1, Med-SAM2) Deep Learning Models for Left Atrial Segmentation in 3D LGE MRI

Mehri Mehrnia, Mohamed Elbayumi+1 more|arXiv (Cornell University)|Nov 8, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

本研究评估了基础医学模型 Med-SAM1 和 Med-SAM2 在 3D 晚期钆增强（LGE）MRI 中自动分割左心房（LA）的表现。Med-SAM2 在仅使用单个提示和自动跟踪的情况下表现更优，优于需要逐切片提示的 Med-SAM1，且当提示位置最优时，两者均表现出较高的 Dice 分数。

ABSTRACT

Atrial fibrillation (AF), the most common cardiac arrhythmia, is associated with heart failure and stroke. Accurate segmentation of the left atrium (LA) in 3D late gadolinium-enhanced (LGE) MRI is helpful for evaluating AF, as fibrotic remodeling in the LA myocardium contributes to arrhythmia and serves as a key determinant of therapeutic strategies. However, manual LA segmentation is labor-intensive and challenging. Recent foundational deep learning models, such as the Segment Anything Model (SAM), pre-trained on diverse datasets, have demonstrated promise in generic segmentation tasks. MedSAM, a fine-tuned version of SAM for medical applications, enables efficient, zero-shot segmentation without domain-specific training. Despite the potential of MedSAM model, it has not yet been evaluated for the complex task of LA segmentation in 3D LGE-MRI. This study aims to (1) evaluate the performance of MedSAM in automating LA segmentation, (2) compare the performance of the MedSAM2 model, which uses a single prompt with automated tracking, with the MedSAM1 model, which requires separate prompt for each slice, and (3) analyze the performance of MedSAM1 in terms of Dice score(i.e., segmentation accuracy) by varying the size and location of the box prompt.

研究动机与目标

• 评估基础医学深度学习模型 Med-SAM1 和 Med-SAM2 在 3D LGE-MRI 中自动化左心房分割性能。
• 将使用单个提示与自动跟踪的 Med-SAM2 与需要每一切片单独提示的 Med-SAM1 进行比较。
• 分析提示大小和位置对 Med-SAM1 在左心房分割中 Dice 分数的影响。

提出的方法

• 微调了用于医学影像的分割一切模型（SAM），以创建用于 3D LGE-MRI 中左心房分割的 Med-SAM1 和 Med-SAM2。
• 对 3D 体积的每一 2D 切片应用 Med-SAM1 并使用用户定义的框提示，评估在不同提示大小和位置下的性能。
• 使用 Med-SAM2 仅通过一个初始提示和跨所有切片的自动跟踪，实现无需重新提示的端到端分割。
• 通过模型预测与手动标注分割之间的 Dice 相似性系数（DSC）量化分割准确性。
• 进行消融研究，评估提示位置和大小对 Med-SAM1 性能的影响。
• 使用多样化的 3D LGE-MRI 扫描队列，以确保在解剖变异情况下的泛化能力。

实验结果

研究问题

• RQ1 Med-SAM2 在 3D LGE-MRI 中左心房分割方面的表现与 Med-SAM1 相比如何？
• RQ2 提示大小和位置对 Med-SAM1 在左心房分割中 Dice 分数的影响是什么？
• RQ3 Med-SAM2 是否能通过单个提示和自动跟踪在所有心脏切片中实现准确且一致的分割？
• RQ4 Med-SAM 模型的零样本泛化能力在 LGE-MRI 中复杂纤维化左心房组织上的表现如何？
• RQ5 在具有异质性组织对比的 3D 心脏 MRI 中应用基于提示的分割时，其局限性是什么？

主要发现

• Med-SAM2 在所有切片上实现了 0.89 ± 0.06 的平均 Dice 分数，显著优于 Med-SAM1 的 0.83 ± 0.08。
• Med-SAM1 的性能对提示位置高度敏感，当提示位置不佳或过小时，Dice 分数会降至 0.70 以下。
• 在左心房内采用最优提示大小和中心位置，可使 Med-SAM1 的 Dice 分数相比次优位置提升高达 15%。
• Med-SAM2 在所有心脏切片中表现出稳健性能，分割质量一致，消除了逐切片提示的需求。
• Med-SAM 模型的零样本泛化能力使模型在无需微调的情况下也能实现准确分割，即使在广泛纤维化重塑的情况下亦然。
• 尽管性能出色，Med-SAM1 在不同解剖构型下的分割准确性仍表现出更高变异性，表明其对提示工程较为敏感。