[논문 리뷰] Segment Anything Model (SAM) for Radiation Oncology

Lian Zhang, Zhengliang Liu외 11명|arXiv (Cornell University)|2023. 06. 20.

Advanced Radiotherapy Techniques인용 수 13

한 줄 요약

이 연구는 전립선, 폐, GI, 두부및목 부위의 CT 기반 위험기관(OAR)에 대한 SAM의 제로샷 및 프롬프트 가능한 분할을 평가하고, Ground-truth 해상도와 Dice 및 Jaccard 지표를 사용해 모든 세그먼트 모드와 박스 프롬프트 모드를 비교합니다.

ABSTRACT

In this study, we evaluate the performance of the Segment Anything Model (SAM) in clinical radiotherapy. Our results indicate that SAM's 'segment anything' mode can achieve clinically acceptable segmentation results in most organs-at-risk (OARs) with Dice scores higher than 0.7. SAM's 'box prompt' mode further improves the Dice scores by 0.1 to 0.5. Considering the size of the organ and the clarity of its boundary, SAM displays better performance for large organs with clear boundaries but performs worse for smaller organs with unclear boundaries. Given that SAM, a model pre-trained purely on natural images, can handle the delineation of OARs from medical images with clinically acceptable accuracy, these results highlight SAM's robust generalization capabilities with consistent accuracy in automatic segmentation for radiotherapy. In other words, SAM can achieve delineation of different OARs at different sites using a generic automatic segmentation model. SAM's generalization capabilities across different disease sites suggest that it is technically feasible to develop a generic model for automatic segmentation in radiotherapy.

연구 동기 및 목표

• 임상 CT OAR 해상도에서 전립선, 폐, GI, 두부-목 부위에 대한 SAM의 제로샷 분할 성능 평가
• Ground-truth 수동 구획선과 비교하여 SAM의 segment-everything 및 box-prompt 모드를 Dice 및 Jaccard 지표로 평가
• 어떤 기관 및 부위가 SAM으로부터 가장 큰 이점을 얻고, 임상 도입을 위한 한계는 어디에 남아 있는지 식별
• SAM을 방사선 치료 워크플로우에 통합하는 방법에 대한 지침과 3D/다중모달 분할 개선 방향 제시

제안 방법

• 경험적 방사선 종양의사들이 RTOG 표준에 따라 80명의 CT 사례(부위당 20명: 전립선, GI, 폐, 두부-목)로 5–14개의 OAR을 구획
• SAM을 두 모드로 비교: 세그먼트-이브리싱(segment-everything; 프롬프트 없음) 및 수동 박스 프롬프트(관심 영역 프롁) 대 ground-truth CT 구획과 대조
• SAM 출력과 ground-truth 마스크 간 Dice 계수 및 Jaccard 인덱스(IOU)로 분할 평가
• 부위별 기관 크기 및 경계 명확성에 따른 일반화 해석을 위한 성능 분석
• SAM의 2D 한계로 인해 2D 슬라이스 5장을 사례당 처리, 향후 3D 확장 계획

Figure 1 : Workflow of SAM segmentation in clinical cases with SAM segment everything mode and SAM box prompt mode taking prostate as an example.

실험 결과

연구 질문

• RQ1 SAM이 특정 작업학습 없이도 다기관 해부학적 부위를 위한 임상적 자동 분할를 제공할 수 있는가
• RQ2 임상 방사선치료 CT 이미지에서 box-prompt 모드가 segment-everything 모드보다 Dice/Jaccard 성능을 유의하게 향상시키는가
• RQ3 제로샷 조건에서 어떤 기관과 부위가 견고한 성능을 보이고 어떤 부분은 여전히 도전 과제인가
• RQ4 SAM을 실제 방사선 치료 컨투어링 워크플로우에 통합하기 위한 실용적 시사점과 한계는 무엇인가
• RQ5 향후 3D 분할, 다중 모달 등 SAM의 임상 활용성을 높이기 위한 향후 개선 방향은 무엇인가

주요 결과

• segment-everything 모드는 많은 크고 명확한 OAR에서 Dice 점수가 0.7 이상을 달성하지만(예: 전립선 방광 0.748, 대퇴골두 ~0.8, 폐 ~0.86), 작은/모호한 구조에서는 성능이 떨어진다(예: 식도 인지 어려움; 와 우/귀의 경우 0인 경우 다수).
• 박스 프롬프트 모드는 대부분의 기관에서 Dice를 대략 0.1–0.5 정도 개선하여 이전에 인식되지 못하던 OAR(예: 식도, 일부 와다의 융합)을 인식 가능하게 하지만 작은 또는 경계가 불명확한 구조에는 여전히 제한적이다.
• SAM은 segment-everything 모드로 전립선 및 폐 부위에서 가장 좋은 성능을 보이고 GI 및 두부-목 부위에서 덜 효과적이며, 결과는 부위별 수동 구획의 난이도와 일치한다.
• 전반적으로 하나의 SAM 모델이 다중 방사선 치료 기관으로의 교차 부위 일반화를 시사하며, 3D/다중모달 향상이 이루어지면 RT용 일반 자동 구획 모델의 가능성이 있다.
• CT 중심 학습으로 인해 경계가 아직 불분명한 부분이 있으며, 향후 MRI 등 다중모달 영상과 3D 확장이 권장된다

Figure 2 : Comparison of the clinical delineation (ground truth), SAM segment everything, and SAM with manual box prompt of example cases. a) prostate b) lung c) gastrointestinal d) head&neck