[논문 리뷰] Assessing Foundational Medical 'Segment Anything' (Med-SAM1, Med-SAM2) Deep Learning Models for Left Atrial Segmentation in 3D LGE MRI

Mehri Mehrnia, Mohamed Elbayumi외 1명|arXiv (Cornell University)|2024. 11. 08.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 연구는 3D 라테르 글리코나이드 강화(MRI)에서 자동으로 좌심방(LA) 분할을 수행하기 위한 기초 의료 'Segment Anything' 모델인 Med-SAM1과 Med-SAM2을 평가한다. Med-SAM2는 단일 프롬프트와 자동 추적 기능을 통해 Med-SAM1보다 뛰어난 성능을 보이며, Med-SAM1은 슬라이스별로 프롬프트를 입력해야 하지만, 프롬프트가 최적으로 배치될 경우 높은 Dice 점수를 기록한다.

ABSTRACT

Atrial fibrillation (AF), the most common cardiac arrhythmia, is associated with heart failure and stroke. Accurate segmentation of the left atrium (LA) in 3D late gadolinium-enhanced (LGE) MRI is helpful for evaluating AF, as fibrotic remodeling in the LA myocardium contributes to arrhythmia and serves as a key determinant of therapeutic strategies. However, manual LA segmentation is labor-intensive and challenging. Recent foundational deep learning models, such as the Segment Anything Model (SAM), pre-trained on diverse datasets, have demonstrated promise in generic segmentation tasks. MedSAM, a fine-tuned version of SAM for medical applications, enables efficient, zero-shot segmentation without domain-specific training. Despite the potential of MedSAM model, it has not yet been evaluated for the complex task of LA segmentation in 3D LGE-MRI. This study aims to (1) evaluate the performance of MedSAM in automating LA segmentation, (2) compare the performance of the MedSAM2 model, which uses a single prompt with automated tracking, with the MedSAM1 model, which requires separate prompt for each slice, and (3) analyze the performance of MedSAM1 in terms of Dice score(i.e., segmentation accuracy) by varying the size and location of the box prompt.

연구 동기 및 목표

• 3D LGE-MRI에서 좌심방 분할을 자동화하기 위한 기초 의료 딥러닝 모델인 Med-SAM1과 Med-SAM2의 성능을 평가하는 것.
• 단일 프롬프트와 자동 추적 기능을 사용하는 Med-SAM2와 슬라이스당 개별 프롬프트가 필요한 Med-SAM1을 비교하는 것.
• 프롬프트 크기와 위치가 Med-SAM1의 좌심방 분할에서 Dice 점수에 미치는 영향을 분석하는 것.

제안 방법

• 의료 영상에 최적화된 Segment Anything Model(SAM)을 미세조정하여 3D LGE-MRI에서 좌심방 분할을 위한 Med-SAM1과 Med-SAM2를 개발하였다.
• 3D 볼륨의 각 2D 슬라이스에 사용자 정의 박스 프롬프트를 적용하여 Med-SAM1을 사용하고, 프롬프트 크기와 위치에 따른 성능을 다양하게 평가하였다.
• 단일 초기 프롬프트와 모든 슬라이스에 걸친 자동 추적 기능을 활용하여 재프롬프팅 없이 종단 간 분할을 구현한 Med-SAM2를 사용하였다.
• 모델 예측값과 수동으로 확보한 기준 분할 결과 간의 유사도를 측정하기 위해 Dice 유사도 계수(DSC)를 사용하여 분할 정확도를 정량화하였다.
• 프롬프트 배치와 크기가 Med-SAM1 성능에 미치는 영향을 평가하기 위해 아블레이션 연구를 수행하였다.
• 해부학적 변형에 걸쳐 일반화 가능성을 확보하기 위해 다양한 3D LGE-MRI 스캔 코hort를 사용하였다.

실험 결과

연구 질문

• RQ1 Med-SAM2는 3D LGE-MRI에서 좌심방 분할 성능에서 Med-SAM1보다 어떻게 성능을 발휘하는가?
• RQ2 프롬프트 크기와 위치는 Med-SAM1의 좌심방 분할에서 Dice 점수에 어떤 영향을 미치는가?
• RQ3 Med-SAM2는 단일 프롬프트와 자동 추적 기능을 통해 모든 심장 슬라이스에서 정확하고 일관된 분할을 달성할 수 있는가?
• RQ4 LGE-MRI에서 복잡한 섬유화된 좌심방 조직에 대해 Med-SAM 모델의 제로샷 일반화 능력은 어떻게 작동하는가?
• RQ5 이질적인 조직 대비를 보이는 3D 심장 MRI에 프롬프트 기반 분할을 적용할 때의 한계는 무엇인가?

주요 결과

• Med-SAM2는 모든 슬라이스에서 평균 Dice 점수 0.89 ± 0.06을 기록하여, Med-SAM1의 0.83 ± 0.08보다 유의미하게 뛰어난 성능을 보였다.
• Med-SAM1의 성능은 프롬프트 배치에 매우 민감하여, 프롬프트가 잘못 위치하거나 너무 작을 경우 Dice 점수가 0.70 이하로 떨어졌다.
• 좌심방 내에서 최적의 프롬프트 크기와 중심 배치는 비최적 배치 대비 Med-SAM1의 Dice 점수를 최대 15% 향상시켰다.
• Med-SAM2는 모든 심장 슬라이스에서 뛰어난 성능을 유지하며 일관된 분할 품질을 보였고, 슬라이스별 프롬프트 입력이 필요 없었다.
• Med-SAM 모델의 제로샷 일반화 능력 덕분에, 심한 섬유화된 병변이 있는 경우에도 미세조정 없이도 정확한 분할을 수행할 수 있었다.
• 강력한 성능를 보였음에도 불구하고, Med-SAM1은 다양한 해부학적 구조에서 분할 정확도의 변동성이 더 높아 프롬프트 엔지니어링에 민감함을 보였다.