[논문 리뷰] Segment Anything Model (SAM) Meets Glass: Mirror and Transparent Objects Cannot Be Easily Detected

Dongsheng Han, Chaoning Zhang외 6명|arXiv (Cornell University)|2023. 04. 29.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 SAM을 유리 관련 작업에 대해 평가하고 SAM이 종종 투명 물체와 거울 물체를 감지하지 못하는 것으로 나타나 실제 적용에 대한 안전 우려를 제기합니다.

ABSTRACT

Meta AI Research has recently released SAM (Segment Anything Model) which is trained on a large segmentation dataset of over 1 billion masks. As a foundation model in the field of computer vision, SAM (Segment Anything Model) has gained attention for its impressive performance in generic object segmentation. Despite its strong capability in a wide range of zero-shot transfer tasks, it remains unknown whether SAM can detect things in challenging setups like transparent objects. In this work, we perform an empirical evaluation of two glass-related challenging scenarios: mirror and transparent objects. We found that SAM often fails to detect the glass in both scenarios, which raises concern for deploying the SAM in safety-critical situations that have various forms of glass.

연구 동기 및 목표

• 제어된 벤치마크에서 SAM이 투명 및 거울 물체를 분할하는 능력을 평가한다.
• 전용 유리 및 거울 분할 방법과 비교하여 SAM의 성능을 정량화한다.
• 유리 표면의 반사, 굴절 및 경계 모호성으로 인한 SAM의 실패 모드를 식별한다.

제안 방법

• SA-1B 사전 학습에서 최고의 사전 학습된 SAM 모델(VIT-H)을 사용한다.
• 이미지당 가장 높은 IoU를 가진 객체에 대해 IoU를 실제값과 비교하여 SAM 출력 평가한다.
• 여러 데이터셋에 걸쳐 최첨단 유리 및 거울 분할 방법과 SAM을 비교한다.
• 평가 지표로 IoU, 픽셀 정확도, F-beta, MAE, BER를 사용한다.
• 세분화 간극을 강조하기 위해 의사 이진 표현으로 결과를 시각화한다.

Figure 1: Sample qualitative comparison results on GDD and GSD.

실험 결과

연구 질문

• RQ1 표준 유리 데이터셋에서 SAM이 투명한(유리) 물체를 탐지하고 분할할 수 있는가?
• RQ2 표준 거울 데이터셋에서 SAM이 거울 물체를 탐지할 수 있는가?
• RQ3 이 벤치마크에서 SAM의 성능이 전용 유리/거울 분할 모델과 어떻게 비교되는가?
• RQ4 유리 및 거울 물체에서 SAM의 일반적인 실패 모드는 무엇인가?

주요 결과

• SAM은 전문 방법에 비해 유리 데이터셋에서 낮은 IoU를 달성한다( GDD: 48.47 IoU; GSD: 50.60 IoU ).
• SAM은 유리 경계를 감지하는 데 어려움을 겪고 종종 유리 자체가 아닌 유리 뒤의 물체를 분할한다.
• 거울 데이터셋에서 SAM 성능은 혼합적이다; MSD 결과는 IoU 51.57을 보이고, PMD 결과는 64.75 IoU에 도달하여 데이터셋 의존적 거동을 시사한다.
• SAM은 거울 표면 자체보다 거울 내부의 반사나 거울 안의 물체를 분할하는 경향이 있어 반사 장면에서의 실패 모드를 강조한다.
• 전용 유리 및 거울 모델(예: EBLNet, GlassNet, MirrorNet)과 비교할 때, SAM은 대부분의 유리 데이터셋에서 저성능이지만 일부 PMD 거울 이미지에서는 상대적으로 경쟁력 있는 결과를 보인다.

Figure 2: Sample qualitative comparison results on MSD and PMD.