[논문 리뷰] When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation

Chuanfei Hu, Xia, Tianyi외 2명|arXiv (Cornell University)|2023. 04. 17.

Machine Learning and Data Classification인용 수 37

한 줄 요약

본 논문은 Segment Anything Model (SAM)을 다단계 간 간 종양 분할에 대해 평가하며, 다양한 프롬프트, 해상도, 그리고 단계 집계 하에서 U-Net에 비해 SAM의 분할 성능이 제한적임을 보이고, 하지만 SAM을 강력한 대화형 주석 도구로 강조한다.

ABSTRACT

Learning to segmentation without large-scale samples is an inherent capability of human. Recently, Segment Anything Model (SAM) performs the significant zero-shot image segmentation, attracting considerable attention from the computer vision community. Here, we investigate the capability of SAM for medical image analysis, especially for multi-phase liver tumor segmentation (MPLiTS), in terms of prompts, data resolution, phases. Experimental results demonstrate that there might be a large gap between SAM and expected performance. Fortunately, the qualitative results show that SAM is a powerful annotation tool for the community of interactive medical image segmentation.

연구 동기 및 목표

• SAM의 제로샷 분할 역량을 다단계 간 간 CT 데이터(MPLiTS)에서 평가한다.
• 프롬프트, 데이터 해상도, 다단계 집계가 SAM 성능에 어떤 영향을 미치는지 조사한다.
• SAM 변형(ViT-B, ViT-L, ViT-H)을 기존의 U-Net 기준선과 비교한다.
• MPLiTS에서 효율적인 대화형 주석 작성을 위한 SAM 사용 가이드를 제공한다.

제안 방법

• 388명의 환자와 1552개의 다단계 CECT 영상(NC, ART, PV, DE)을 포함하는 자체 MPLiTS 데이터셋을 사용한다.
• 다양한 프롬프트 P와 해상도 R에서 두 가지 다상 집계 모드 M(avg, max)에 걸쳐 SAM 변형(ViT-B, ViT-L, ViT-H)을 평가한다.
• 슬라이스별로 분할 정확도 지표로 Dice global score (DGS)를 계산한다.
• 다중 단계 결과에 대해 SAM 출력 중 최적의 종양 마스크를 선택한다.
• 성능 격차를 평가하기 위해 SAM 결과를 U-Net 기준선과 비교한다.
• 주석 유용성을 보여주기 위한 결과의 정성적 시각화를 제시한다.

실험 결과

연구 질문

• RQ1 프롬프트 포인트 수(P)가 MPLiTS에서 SAM의 분할 정확도에 어떤 영향을 미치는가?
• RQ2 이미지 해상도(R)가 다단계 간 간 종양 분할에서 SAM 성능에 어떤 영향을 미치는가?
• RQ3 다른 다상 집계 전략(avg vs max)이 SAM의 다상 분할 결과를 개선하는가?
• RQ4 MPLiTS에서 SAM과 U-Net 기준선을 비교하면 SAM이 의료 영상 분할의 주석 도구로 효과적으로 작동할 수 있는가?

주요 결과

• 프롬프트 포인트 수 P를 늘리면 일반적으로 SAM 성능이 향상된다.
• 더 큰 해상도 R은 일관되게 성능을 향상시키지 않으며 일부 설정에서 감소시킬 수 있다.
• 구성에 걸쳐 SAM에 대해 max 집계가 종종 avg보다 더 나은 결과를 낳지만, 적은 프롬프트에서 U-Net과의 큰 차이가 남아 있다.
• 충분한 인간의 지도가 있을 때(SAM의 예: P = 20) 주석 도구로 강한 잠재력을 보이나, 원시 분할 성능은 전문 모델에 뒤처진다.
• 전반적으로 SAM은 기대된 MPLiTS 성능에 미치지 못할 수 있지만, 효율적인 대화형 주석에 여전히 가치가 있다.