[논문 리뷰] Polyp-SAM: Transfer SAM for Polyp Segmentation

Yuheng Li, Mingzhe Hu외 1명|arXiv (Cornell University)|2023. 04. 29.

Colorectal Cancer Screening and Detection인용 수 15

한 줄 요약

Polyp-SAM은 Segment Anything Model (SAM)을 대장 폴립 분할에 대해 파인튜닝하고 두 가지 전이 전략을 비교하여 여러 데이터세트에서 Dice 점수가 88%를 넘는 SOTA 결과를 달성합니다.

ABSTRACT

Colon polyps are considered important precursors for colorectal cancer. Automatic segmentation of colon polyps can significantly reduce the misdiagnosis of colon cancer and improve physician annotation efficiency. While many methods have been proposed for polyp segmentation, training large-scale segmentation networks with limited colonoscopy data remains a challenge. Recently, the Segment Anything Model (SAM) has recently gained much attention in both natural and medical image segmentation. SAM demonstrates superior performance in several image benchmarks and therefore shows great potential for medical image segmentation. In this study, we propose Poly-SAM, a finetuned SAM model for polyp segmentation, and compare its performance to several state-of-the-art polyp segmentation models. We also compare two transfer learning strategies of SAM with and without finetuning its encoders. Evaluated on five public datasets, our Polyp-SAM achieves state-of-the-art performance on two datasets and impressive performance on three datasets, with dice scores all above 88%. This study demonstrates the great potential of adapting SAM to medical image segmentation tasks. We plan to release the code and model weights for this paper at: https://github.com/ricklisz/Polyp-SAM.

연구 동기 및 목표

• 대장 내시경에서 오진 감소와 주석 표기 효율성을 향상시키기 위해 자동 폴립 분할을 촉진합니다.
• 폴립 데이터를 활용한 파인튜닝으로 의학 영상 분할에 Segment Anything Model (SAM)을 활용합니다.
• 인코더 파인튜닝 여부에 따른 SAM의 전이 학습 전략을 비교합니다.
• 일부 공용 폴립 데이터세트에서 Polyp-SAM을 평가하여 일반화 성능을 평가합니다.

제안 방법

• 폴립 분할을 위한 SAM의 미세 조정(Polyp-SAM).
• 인코더 파인튜닝 여부에 따른 두 가지 전이 학습 전략의 비교: 인코더 파인튜닝 있음 vs 없음.
• 주요 지표로 Dice 점수를 사용하여 다섯 개의 공용 폴립 데이터세트에서 평가.
• 최신 폴립 분할 모델과의 비교.

실험 결과

연구 질문

• RQ1 파인튜닝을 통해 SAM을 폴립 분할에 효과적으로 적용할 수 있는가?
• RQ2 어떤 전이 전략이 더 나은 폴립 분할 성능을 보이는가? (인코더 파인튜닝 vs 고정 인코더)
• RQ3 Polyp-SAM은 기존 방법과 비교하여 다양한 공용 데이터세트에서 어떤 성능을 보이는가?

주요 결과

• Polyp-SAM은 두 데이터세트에서 최첨단 성능을 달성합니다.
• Polyp-SAM은 세 데이터세트에서 인상적인 성능을 보여줍니다.
• Dice 점수은 평가된 데이터세트에서 88%를 초과합니다.