[논문 리뷰] Can SAM Segment Polyps?

Tao Zhou, Yizhe Zhang외 3명|arXiv (Cornell University)|2023. 04. 15.

Radiomics and Machine Learning in Medical Imaging인용 수 9

한 줄 요약

논문은 Segment Anything Model (SAM)을 다섯 개의 대장내시경 데이터셋에서 비프롬프트 폴립 분할에 대해 평가하고, SAM이 최첨단 폴립 분할 모델에 비해 성능이 미진함을 발견한다; 작업 특화 데이터에 대해 SAM을 미세조정하면 결과가 개선될 수 있다.

ABSTRACT

Recently, Meta AI Research releases a general Segment Anything Model (SAM), which has demonstrated promising performance in several segmentation tasks. As we know, polyp segmentation is a fundamental task in the medical imaging field, which plays a critical role in the diagnosis and cure of colorectal cancer. In particular, applying SAM to the polyp segmentation task is interesting. In this report, we evaluate the performance of SAM in segmenting polyps, in which SAM is under unprompted settings. We hope this report will provide insights to advance this polyp segmentation field and promote more interesting works in the future. This project is publicly at https://github.com/taozh2017/SAMPolyp.

연구 동기 및 목표

• 사용자 프롬프트 없이 SAM이 대장내시경 영상에서 폴립을 얼마나 잘 분할하는지 평가한다.
• 다수의 벤치마크에서 SAM을 최첨단 CNN/Transformer 기반 폴립 분할 모델과 비교한다.
• 의료 영상에서 SAM의 강점과 실패 모드를 식별하기 위해 질적 분할 예를 분석한다.
• 폴립 분할에 SAM을 적용하기 위한 향후 연구 방향과 잠재적 미세조정 전략에 대한 지침을 제공한다.

제안 방법

• 다섯 개 데이터세트에서 두 백본(SAM-H 및 SAM-L)을 사용하여 폴립을 분할한다.
• mDice, mIoU, S_alpha, F_beta^w, E_phi^max, 및 M의 여섯 가지 지표로 분할 성능을 평가한다.
• 영상당 다수 출력에서 가장 좋은 마스크를 선택하는 기준은 ground-truth에 대해 S_alpha를 최대화하는 것이다.
• 각 데이터세트에서 SAM을 14개의 CNN 기반 모델과 두 개의 Transformer 기반 모델과 비교한다.
• 성공적 및 실패한 SAM 분할의 질적 시각화를 제공한다.
• 폴립 분할 성능 향상을 위한 잠재적 미세조정 접근법을 논의한다.

실험 결과

연구 질문

• RQ1 비프롬프트 모드에서 SAM이 표준 대장내시경 벤치마크에서 경쟁력 있는 폴립 분할 성능을 달성할 수 있는가?
• RQ2 다양한 데이터세트에 걸쳐 SAM이 기존의 CNN/Transformer 기반 폴립 분할 방법과 얼마나 비교되는가?
• RQ3 대장내시경 영상에서 폴립을 분할할 때 SAM의 일반적인 실패 모드는 무엇인가?
• RQ4 폴립 특화 데이터셋에서 SAM을 미세조정하면 분할 성능이 향상될까?

주요 결과

• 비프롬프트 설정에서 SAM은 테스트된 데이터세트 전반에 걸쳐 전용 폴립 분할 모델보다 우수하지 않다.
• CVC-ClinicDB, Kvasir, CVC-ColonDB, ETIS, CVC-300와 같은 데이터세트에서 SAM 변종은 여러 지표에서 최첨단 방법에 비해 성능이 더 낮다.
• 질적 결과는 SAM이 일부 폴립은 잘 분할하지만 경계가 주변 점막에 비해 흐리거나 선명하지 않을 때는 어려움을 보인다.
• 실패 사례는 자연 이미지 코퍼스에서 학습되었을 때 의학 영상 분할에서 SAM의 한계를 보여준다.
• 저자들은 작업 특성 폴립 데이터셋에 대한 미세조정이 제로샷 사용보다 더 나은 분할 성능을 낼 수 있다고 시사한다.