[논문 리뷰] Segment Anything Is Not Always Perfect: An Investigation of SAM on Different Real-world Applications

Wei Ji, Jingjing Li외 4명|arXiv (Cornell University)|2023. 04. 12.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 SAM을 자연 이미지, 농업, 제조, 원격 감지, 의료 분야에 걸쳐 체계적으로 평가하며, 일반적인 장면에서의 강한 일반화가 돋보이지만, 고난도 저대비, 의료 및 산업 도메인처럼 상당한 사전 지식이 필요한 복잡한 상황에서의 한계가 뚜렷하다는 점을 강조한다.

ABSTRACT

Recently, Meta AI Research approaches a general, promptable Segment Anything Model (SAM) pre-trained on an unprecedentedly large segmentation dataset (SA-1B). Without a doubt, the emergence of SAM will yield significant benefits for a wide array of practical image segmentation applications. In this study, we conduct a series of intriguing investigations into the performance of SAM across various applications, particularly in the fields of natural images, agriculture, manufacturing, remote sensing, and healthcare. We analyze and discuss the benefits and limitations of SAM, while also presenting an outlook on its future development in segmentation tasks. By doing so, we aim to give a comprehensive understanding of SAM's practical applications. This work is expected to provide insights that facilitate future research activities toward generic segmentation. Source code is publicly available.

연구 동기 및 목표

• 다양한 실제 세계 세분화 작업에서 SAM의 일반화 능력을 평가한다.
• 자연 이미지, 농업, 제조, 원격 감지, 의료 분야에서 SAM의 강점과 한계를 파악한다.
• 도메인별 시나리오에서 SAM을 적용하기 위한 실용적 통찰과 방향을 제시한다.

제안 방법

• 모든 모드(SAM in Everything mode)와 다른 프롬프트 모드(click/box)를 사용하여 데이터셋 전반에 걸쳐 세분화를 생성한다.
• 두드러진/대상 세분화, 위장, 투명성, 그림자, 그리고 농업/산업/원격 감지 이미지를 포함한 작업에서 SAM 출력의 질적 분석을 수행한다.
• 평균 절대 오차(MAE)를 평가 지표로 사용하여 8개 벤치마크에서 태스크 특화 SOTA 모델과의 정량적 비교를 수행한다.
• 여러 예측 마스크 중에서 IoU with ground-truth에 의해 최적의 SAM 마스크를 선택한다.
• 좋은 결과를 얻는 데 있어 프롬프트와 사전 지식의 역할에 대해 논의한다.

Figure 2 : Application on salient object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.

실험 결과

연구 질문

• RQ1 SAM은 일반적인 자연 이미지에 얼마나 잘 일반화되며 도전적인 실제 시나리오에는 어떻게 대응하는가?
• RQ2 세부적인 세분화, 저대비 또는 전문 도메인 지식(의료/산업)이 필요한 작업에서 SAM의 한계는 무엇인가?
• RQ3 프롬프트 선택과 사전 지식이 도메인 간 성능에 얼마나 영향을 미치는가?
• RQ4 원격 감지, 농업, 의료 응용에 대해 SAM을 효과적으로 적응시키거나 보완할 수 있는가?

주요 결과

• SAM은 일반적인 장면에서 우수한 일반화와 프롬프트 모드 전반에 걸친 강한 로컬라이제이션 능력을 보인다.
• 복잡한 장면(예: 작물 분할, 안저 영상)은 상당한 수의 수동 프롬프트와 사전 지식이 필요하며 전경 편향이 관찰된다.
• 저대비 또는 위장된 객체는 SAM의 강건성을 저하시켜 도전적인 환경에서 개선 여지가 남아 있다.
• 의료 및 산업 분야의 전문 데이터는 박스 및 자동 모드의 한계를 보여주며, 강한 프롬프트 하에서도 성공이 다양하게 나타난다.
• 원격 감지와 농업은 SAM이 일반적인 객체를 다룰 수는 있지만 더 작거나 불규칙한 대상에서는 어려움을 보인다.
• 전반적으로, 많은 도전적인 작업에서 SAM의 성능은 전문화된 SOTA 모델에 뒤처지며, 전문화되거나 애플리케이션별 적응의 여지가 있음을 시사한다.

Figure 3 : Application on camouflaged object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.