[논문 리뷰] When SAM Meets Shadow Detection

Leiping Jie, Hui Zhang|arXiv (Cornell University)|2023. 05. 19.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

이 논문은 Shadow 탐지에서 Segment Anything Model(SAM)을 네 가지 벤치마크에서 조사하고, SAM이 전문 모델에 비해 성능이 떨어지며 종종 수많은 작은 마스크를 생성한다는 것을 발견한다; 마스크 분포를 분석하고 두 가지 마스크 선택 전략을 평가한다.

ABSTRACT

As a promptable generic object segmentation model, segment anything model (SAM) has recently attracted significant attention, and also demonstrates its powerful performance. Nevertheless, it still meets its Waterloo when encountering several tasks, e.g., medical image segmentation, camouflaged object detection, etc. In this report, we try SAM on an unexplored popular task: shadow detection. Specifically, four benchmarks were chosen and evaluated with widely used metrics. The experimental results show that the performance for shadow detection using SAM is not satisfactory, especially when comparing with the elaborate models. Code is available at https://github.com/LeipingJie/SAMSh.

연구 동기 및 목표

• SAM의 그림자 탐지 일반화 능력을 여러 벤치마크에 걸쳐 평가한다.
• BER를 주요 지표로 사용하여 SAM과 최첨단 그림자 탐지기들 간의 정량적 비교를 수행한다.
• SAM이 생성한 마스크 분포를 특징지하고 마스크 선택 전략을 조사한다.
• 그림자 관련 작업에 SAM을 적용하기 위한 가이드를 제공하기 위해 통찰을 제시한다.

제안 방법

• SBU, UCF, ISTD, CUHK의 네 가지 그림자 탐지 벤치마크를 사용하고 테스트 분할에 집중한다.
• 주요 지표로 Balance Error Rate (BER)을 사용하여 평가한다.
• 프롬프트 없이 설정에서 SAM으로 이미지당 여러 개의 마스크를 생성한다.
• 두 가지 마스크 선택 전략을 비교한다: 최대 F-측정(Max F-measure)과 최대 IoU(Max IoU).
• SAM 출력 및 실패 사례의 정성적 시각화를 제공한다.
• 예측 마스크의 수와 크기 분포를 논의한다.

실험 결과

연구 질문

• RQ1 SAM은 일반적인 벤치마크에서 전문 모델과 비교할 때 그림자 탐지에서 어떻게 성능을 보이나요?
• RQ2 다른 마스크 선택 전략이 SAM의 그림자 탐지 성능에 어떤 영향을 미치나요?
• RQ3 SAM이 생성한 마스크의 특징(예: 개수, 크기 분포)이 그림자 작업의 성능에 어떤 영향을 하나요?
• RQ4 제로샷 사용을 넘어 그림자 탐지에 대해 SAM을 효과적으로 적응시키거나 가이드할 수 있나요?

주요 결과

• SAM의 그림자 탐지 성능은 최첨단 방법에 비해 현저히 낮으며(BER 약 25 대 여러 데이터셋에서 ~3), 여러 벤치마크에서 차이가 큽니다.
• SAM은 수많은 작은 세분화 마스크를 생성하는 경향이 있으며, 이미지 간 카운트의 분포가 0에서 약 500까지 넓게 퍼져 있습니다.
• 이 작업에서 최대 F-측정으로의 마스크 선택이 일반적으로 최대 IoU보다 더 우수한 성능을 보입니다.
• SAM은 복잡한 그림자와 잡다한 배경의 그림자에서 어려움을 겪으며 그림자 탐지에 대한 제로샷 일반화가 제한적임을 시사합니다.
• 정성적 결과는 단순한 배경의 성공 사례를 보여주지만 도전적인 장면에서 빈번한 실패를 보입니다.