[논문 리뷰] Can SAM Segment Anything? When SAM Meets Camouflaged Object Detection

Lv Tang, Haoke Xiao외 1명|arXiv (Cornell University)|2023. 04. 10.

Visual Attention and Saliency Detection인용 수 43

한 줄 요약

This technical report evaluates Meta's SAM on camouflaged object detection (COD) benchmarks, showing SAM's segmentation and localization performance lags behind state-of-the-art COD methods and suggesting areas for improvement.

ABSTRACT

SAM is a segmentation model recently released by Meta AI Research and has been gaining attention quickly due to its impressive performance in generic object segmentation. However, its ability to generalize to specific scenes such as camouflaged scenes is still unknown. Camouflaged object detection (COD) involves identifying objects that are seamlessly integrated into their surroundings and has numerous practical applications in fields such as medicine, art, and agriculture. In this study, we try to ask if SAM can address the COD task and evaluate the performance of SAM on the COD benchmark by employing maximum segmentation evaluation and camouflage location evaluation. We also compare SAM's performance with 22 state-of-the-art COD methods. Our results indicate that while SAM shows promise in generic object segmentation, its performance on the COD task is limited. This presents an opportunity for further research to explore how to build a stronger SAM that may address the COD task. The results of this paper are provided in \url{https://github.com/luckybird1994/SAMCOD}.

연구 동기 및 목표

• SAM이 카모플라주 객체를 효과적으로 세그먼트할 수 있는지 평가한다.
• 이미지에서 카모플라주 객체를 위치 식별하는 SAM의 능력을 평가한다.
• 표준 COD 벤치마크(CAMO, COD10K, NC4K)에서 SAM을 22개의 최첨단 COD 방법과 비교한다.
• 위장 작업을 위한 SAM 또는 COD 중심의 기반 모델을 개선하는 방향에 대한 통찰을 제공한다.

제안 방법

• 이미지당 여러 개의 이진 맵을 생성하도록 SAM을 사용한다(프롬프트 가능 세그먼테이션).
• 각 이미지에서 F-값이 가장 높은 이진 맵을 SAM의 예측으로 삼아 최대 세그먼트 평가를 적용한다.
• 데이터셋 전반에서 F-베타 임계치를 넘는 SAM 맵의 분포를 계산하여 카모플라주 위치 평가를 적용한다.
• 다음 여섯 가지 지표로 평가한다: S_alpha, E_phi, F_beta, F_w_beta, F_beta^max, MAE.
• CAMO-Test, COD10K-Test, NC4K 데이터 세트에서 SAM을 22개의 COD 방법과 비교한다.

Figure 1: Some bad cases of SAM.

실험 결과

연구 질문

• RQ1 SAM이 COD 벤치마크 전반에서 카모플라주 객체를 정확하게 세그먼트할 수 있는가?
• RQ2 SAM이 COD 벤치마크 전반에서 카모플라주 객체를 정확하게 위치 식별할 수 있는가?
• RQ3 표준 데이터 세트(CAMO, COD10K, NC4K)에서 SAM가 선도 COD 방법과 어떻게 비교되는가?
• RQ4 COD 작업에 기초 모델을 적용하기 위한 개선 방향이나 방향성은 무엇인가?

주요 결과

• SAM은 이미지당 여러 이진 맵을 생성할 수 있지만 많은 맵이 카모플라주 객체를 놓친다.
• 최대 세그먼트 평가에서 SAM의 COD 성능은 세 벤치마크에서 최신 COD 방법보다 뒤쳐진다.
• 일반 위치 평가에서 SAM의 카모플라주 객체 위치 식별 능력은 제한적이며 임계값 적용으로도 미미하게 개선된다.
• 22개의 COD 방법과 비교하여 SAM은 CAMO-Test, COD10K-Test, NC4K에서 표준 COD 지표에 두드러진 차이를 보이며 아직 격차가 크지만 2021년대 방법과의 경쟁력은 여전히 남아 있다.
• 저자는 SAM의 COD 성능이 COD 전용 작업에 충분하지 않다고 지적하고, 카모플라주 탐지를 강화하기 위해 데이터셋/아키텍처 적응을 촉구한다.

Figure 2: The location ability of the SAM.