[논문 리뷰] Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?

Risab Biswas|arXiv (Cornell University)|2023. 08. 12.

Radiomics and Machine Learning in Medical Imaging인용 수 9

한 줄 요약

본 논문은 텍스트 가이드 SAM (Polyp-SAM++)를 이용한 용종 분할을 조사하고, 세 가지 대장내시경 데이터셋에서 Prompt가 없는 SAM 및 다양한 기준선과의 성능을 비교한다.

ABSTRACT

Meta recently released SAM (Segment Anything Model) which is a general-purpose segmentation model. SAM has shown promising results in a wide variety of segmentation tasks including medical image segmentation. In the field of medical image segmentation, polyp segmentation holds a position of high importance, thus creating a model which is robust and precise is quite challenging. Polyp segmentation is a fundamental task to ensure better diagnosis and cure of colorectal cancer. As such in this study, we will see how Polyp-SAM++, a text prompt-aided SAM, can better utilize a SAM using text prompting for robust and more precise polyp segmentation. We will evaluate the performance of a text-guided SAM on the polyp segmentation task on benchmark datasets. We will also compare the results of text-guided SAM vs unprompted SAM. With this study, we hope to advance the field of polyp segmentation and inspire more, intriguing research. The code and other details will be made publically available soon at https://github.com/RisabBiswas/Polyp-SAM++.

연구 동기 및 목표

• 텍스트 프롬프트가 대장 용종 이미지에 대한 SAM의 분할 정확도를 향상시킬 수 있는지 평가한다.
• Unprompted SAM 및 최신 용종 분할 모델과 Polyp-SAM++를 정량적으로 비교한다.
• 다양한 용종 모양과 영상 조건에서의 강건성을 이해하기 위한 정성적 결과를 분석한다.

제안 방법

• GroundingDINO를 사용하여 용종 중심의 프롬프트로 텍스트 가이드 바운딩 박스를 생성한다.
• 생성된 바운딩 박스를 SAM에 입력하여 분할 마스크를 얻는다.
• 세 가지 데이터셋에서 평균 다이스 값(mDice), 평균 IoU(mIoU), F-측정(Fm)을 평가한다.
• Polyp-SAM++를 CNN/ViT 기반 기준선 및 다른 SAM 기반 용종 방법과 비교한다.
• Polyp-SAM++가 실패하는 사례를 분석하고 잠재적 개선점을 논의한다.

Figure 1 : Overview of the Polyp-SAM++ Architecture

실험 결과

연구 질문

• RQ1 텍스트 가이드 프롬프트 전략이 비프롬프트 SAM에 비해 SAM 기반 용종 분할을 향상시키는가?
• RQ2 표준 데이터셋에서 Polyp-SAM++의 성능은 전통적 용종 분할 모델과 비교하여 어떠한가?
• RQ3 용종 분할에서 텍스트 가이드 SAM의 정성적 강점과 실패 모드는 무엇인가?

주요 결과

Methods	CVC-ClinicDB mDice	CVC-ClinicDB mIoU	CVC-ClinicDB Fm	Kvasir-SEG mDice	Kvasir-SEG mIoU	Kvasir-SEG Fm	CVC-300 mDice	CVC-300 mIoU	CVC-300 Fm
UNet	0.82	0.75	0.81	0.81	0.746	0.79	0.71	0.62	0.68
UNet++	0.79	0.72	0.78	0.82	0.74	0.80	0.70	0.62	0.68
SFA	0.70	0.60	0.64	0.72	0.61	0.67	0.46	0.32	0.34
PraNet	0.89	0.84	0.89	0.89	0.84	0.88	0.87	0.79	0.84
ACSNet	0.88	0.82	0.87	0.89	0.83	0.88	0.86	0.78	0.82
MSEG	0.90	0.86	0.90	0.89	0.83	0.88	0.87	0.80	0.85
DCRNet	0.89	0.84	0.89	0.88	0.82	0.86	0.85	0.78	0.83
EU-Net	0.90	0.84	0.89	0.90	0.85	0.89	0.83	0.76	0.80
SANet	0.91	0.85	0.90	0.90	0.84	0.89	0.88	0.81	0.80
MSNet	0.91	0.86	0.91	0.90	0.84	0.89	0.86	0.79	0.84
C2FNet	0.91	0.87	0.90	0.88	0.83	0.87	0.87	0.80	0.92
LDNet	0.88	0.82	0.87	0.88	0.82	0.86	0.86	0.79	0.84
FAPNet	0.92	0.87	0.91	0.90	0.84	0.89	0.89	0.82	0.87
CFA-Net	0.93	0.88	0.92	0.91	0.86	0.90	0.89	0.82	0.87
Polyp-PVT	0.94	0.90	0.95	0.91	0.86	0.91	0.90	0.93	0.88
HSNet	0.93	0.88	0.93	0.92	0.87	0.91	0.90	0.83	0.88
Polyp-SAM	0.92	0.87	-	0.90	0.86	-	0.92	0.88	-
SAM-H	0.54	0.50	0.54	0.77	0.70	0.76	0.65	0.60	0.65
SAM-L	0.57	0.52	0.56	0.78	0.71	0.77	0.72	0.67	0.72
Polyp-SAM++	0.91	0.86	0.91	0.90	0.86	0.92	0.73	0.69	0.73

• Polyp-SAM++는 세 개의 벤치마크 데이터셋에서 최신 용종 방법에 비해 경쟁력 있는 성능을 달성한다.
• 텍스트 가이드 로컬라이제이션이 SAM이 용종 분할을 보다 정확하게 수행하도록 로컬라이제이션을 개선하는 데 기여한다.
• Polyp-SAM++는 여러 데이터셋에서 비프롬프트 SAM보다 여러 지표에서 우수하지만 도전적인 사례에서 여전히 실패를 보인다.
• 정성적 결과는 GroundingDINO + SAM의 많은 시나리오에서 강건함을 보이며, 식별 가능한 실패 사례를 논의한다.

Figure 2 : Bounding Box created based on the Text-Prompt by GroundingDINO.