[논문 리뷰] Segment Anything Model for Medical Images?

Yuhao Huang, Xin Yang외 17명|PubMed|2023. 04. 28.

Advanced Neural Network Applications인용 수 40

한 줄 요약

본 연구는 Segment Anything Model(SAM)이 대규모 다중 모달 COSMOS 1050K 데이터셋에서 의학 영상 분할에 얼마나 일반화되는지 평가하고 프롬프트 전략, 모델 크기, 파인튜닝 효과를 분석한다.

ABSTRACT

The Segment Anything Model (SAM) is the first foundation model for general image segmentation. It has achieved impressive results on various natural image segmentation tasks. However, medical image segmentation (MIS) is more challenging because of the complex modalities, fine anatomical structures, uncertain and complex object boundaries, and wide-range object scales. To fully validate SAM's performance on medical data, we collected and sorted 53 open-source datasets and built a large medical segmentation dataset with 18 modalities, 84 objects, 125 object-modality paired targets, 1050K 2D images, and 6033K masks. We comprehensively analyzed different models and strategies on the so-called COSMOS 1050K dataset. Our findings mainly include the following: (1) SAM showed remarkable performance in some specific objects but was unstable, imperfect, or even totally failed in other situations. (2) SAM with the large ViT-H showed better overall performance than that with the small ViT-B. (3) SAM performed better with manual hints, especially box, than the Everything mode. (4) SAM could help human annotation with high labeling quality and less time. (5) SAM was sensitive to the randomness in the center point and tight box prompts, and may suffer from a serious performance drop. (6) SAM performed better than interactive methods with one or a few points, but will be outpaced as the number of points increases. (7) SAM's performance correlated to different factors, including boundary complexity, intensity differences, etc. (8) Finetuning the SAM on specific medical tasks could improve its average DICE performance by 4.39% and 6.68% for ViT-B and ViT-H, respectively. Codes and models are available at: https://github.com/yuhoo0302/Segment-Anything-Model-for-Medical-Images. We hope that this comprehensive report can help researchers explore the potential of SAM applications in MIS, and guide how to appropriately use and develop SAM.

연구 동기 및 목표

• 대규모의 다양하고 다양한 의학 영상 데이터셋에서 SAM의 제로샷 및 프롬프트 기반 분할 성능을 평가한다.
• 모달리티, 경계 복잡도, 강도 차이 등을 포함하여 의학 객체에서 SAM 성능에 영향을 주는 요인을 식별한다.
• 다양한 프롬프트(포인트, 박스)와 모델 크기(ViT-B 대 ViT-H)가 MIS 분할 품질에 어떤 영향을 미치는지 평가한다.
• 의학 작업에 대한 SAM의 파인튜닝 이점과 모달리티 전반의 Dice 점수에 미치는 영향을 조사한다.
• 의료 영상 분할(MIS)을 위해 SAM을 활용하고 개발하기 위한 가이드라인을 제시한다.

제안 방법

• COSMOS 1050K를 18개 모달리티와 6개 객체-모달리티 타깃을 갖춘 53개의 공개 MIS 데이터세트를 집계하여 구축한다.
• 2D/3D 데이터를 표준화된 PNG 슬라이스와 SAM 평가에 적합한 6033K 마스크로 전처리한다.
• 일반 Everything 모드와 여섯 가지 수동 프롬프트 모드(1 포인트, 5 포인트, 5 양수+5 음수, 하나의 박스, 하나의 박스 + 1 포인트)를 단일 포인트/박스 선택 전략을 사용하여 평가한다.
• 크기 관련 성능과 안정성을 평가하기 위해 두 가지 SAM 백본(ViT-B 및 ViT-H)을 비교한다.
• 각 객체에 대해 예측 마스크들 중 최상의 Dice 점수를 사용하여 SAM 출력과 실제 Ground Truth를 맞추는 마스크 매칭 평가를 적용한다.
• 다중 전략 테스트 중 중복 계산을 줄이기 위해 임베딩 재사용으로 추론 효율 개선을 보고한다.

실험 결과

연구 질문

• RQ1 COSMOS 1050K에서 광범위한 모달리티와 객체에 대해 SAM은 의학 이미지에서 어떻게 동작하는가?
• RQ2 다양한 프롬프트(포인트 대 박스)와 모델 크기(ViT-B 대 ViT-H)가 MIS의 분할 품질에 어떻게 영향을 미치는가?
• RQ3 의학 데이터에 대해 SAM을 파인튜닝하면 객체와 모달리티 전반의 평균 Dice 점수를 향상시킬 수 있는가?
• RQ4 어떤 객체 및 영상 특성이 SAM의 분할 성능에 가장 큰 영향을 미치는가(예: 경계 복잡도, 강도 차이, 크기 등)?

주요 결과

• SAM은 일부 객체에서 강력한 성능을 보이지만 MIS의 다른 객체에서 불안정하거나 실패한다.
• ViT-H가 일반적으로 전체 성능에서 ViT-B를 능가하며, 특히 더 많은 프롬프트에서 우수하다.
• 수동 프롬프트(특히 박스 프롬프트)가 MIS 작업에서 Everything 모드보다 더 나은 결과를 낸다.
• SAM은 더 높은 라벨 품질과 더 짧은 시간으로 인간 주석 작업을 보조할 수 있다.
• 의료 작업에 SAM을 파인튜닝하면 평균 Dice가 4.39%(ViT-B) 및 6.68%(ViT-H) 향상된다.
• SAM의 성능은 중심점의 랜덤성 및 촘촘한 박스 프롬프트에 민감하며 이러한 조건에서 상당한 하락을 겪을 수 있다.