[논문 리뷰] A Comprehensive Survey on Segment Anything Model for Vision and Beyond

Chunhui Zhang, Li Liu외 5명|arXiv (Cornell University)|2023. 05. 14.

Advanced Neural Network Applications인용 수 47

한 줄 요약

이 설문은 Segment Anything Model(SAM)과 관련 기초 모델을 검토하여 그 진행 상황, 가능성, 한계 및 향후 연구를 안내하기 위한 광범위한 응용을 분석한다.

ABSTRACT

Artificial intelligence (AI) is evolving towards artificial general intelligence, which refers to the ability of an AI system to perform a wide range of tasks and exhibit a level of intelligence similar to that of a human being. This is in contrast to narrow or specialized AI, which is designed to perform specific tasks with a high degree of efficiency. Therefore, it is urgent to design a general class of models, which we term foundation models, trained on broad data that can be adapted to various downstream tasks. The recently proposed segment anything model (SAM) has made significant progress in breaking the boundaries of segmentation, greatly promoting the development of foundation models for computer vision. To fully comprehend SAM, we conduct a survey study. As the first to comprehensively review the progress of segmenting anything task for vision and beyond based on the foundation model of SAM, this work focuses on its applications to various tasks and data types by discussing its historical development, recent progress, and profound impact on broad applications. We first introduce the background and terminology for foundation models including SAM, as well as state-of-the-art methods contemporaneous with SAM that are significant for segmenting anything task. Then, we analyze and summarize the advantages and limitations of SAM across various image processing applications, including software scenes, real-world scenes, and complex scenes. Importantly, many insights are drawn to guide future research to develop more versatile foundation models and improve the architecture of SAM. We also summarize massive other amazing applications of SAM in vision and beyond. Finally, we maintain a continuously updated paper list and an open-source project summary for foundation model SAM at \href{https://github.com/liliu-avril/Awesome-Segment-Anything}{\color{magenta}{here}}.

연구 동기 및 목표

• SAM 및 관련 기초 모델을 기반으로 한 모든 것의 분할 태스크의 진행 상황을 조사한다.
• 소프트웨어, 현실 세계, 복합적 장면 전반에서 SAM의 장점과 한계를 분석한다.
• 시각 영역 및 그 밖의 영역에서 SAM의 응용을 요약하여 향후 연구 개발을 안내한다.
• 더 다재다능한 기초 모델을 설계하고 SAM 아키텍처를 개선하기 위한 통찰을 제공한다.
• SAM과 관련된 논문 및 오픈 소스 프로젝트의 최신 목록을 유지한다.

제안 방법

• 기초 모델과 SAM의 배경, 용어, 그리고 모든 것을 분할하는 데 관련된 시점의 방법들을 설명한다.
• SAM의 아키텍처를 상세히 설명한다: 이미지 인코더(MAE 사전 학습 ViT), 프롬프트 인코더(희소 입력 및 밀집 입력), 마스크 디코더.
• 데이터 엔진과 SA-1B 데이터셋 구성 워크플로우를 설명한다(보조 수동, 반자동, 전자동 단계).
• 소프트웨어, 현실 세계, 복합 장면에 걸친 SAM 지원 이미지 처리 응용을 요약한다.
• 동시 연구들(OneFormer, SegGPT, SEEM)과 보다 넓은 태스크로의 SAM의 다운스트림 확장을 논의한다.

Figure 1: Overview of the SA project, including task, model, and data. The figure is borrowed from the original paper [ 20 ] .

실험 결과

연구 질문

• RQ1 SAM 및 관련 기초 모델을 사용한 모든 것 분할 작업에서 어떤 진전이 이루어졌는가?
• RQ2 다양한 이미지 유형과 현실 세계 시나리오에서 SAM의 성능은 어떠하며 어디에서 어려움을 겪는가?
• RQ3 시각 작업 및 그 밖의 영역에서 SAM의 주요 장점과 한계는 무엇인가?
• RQ4 더 다재다능한 기초 모델을 구축하고 SAM을 개선하기에 유망한 방향과 아키텍처는 무엇인가?
• RQ5 SAM 연구와 응용을 이끄는 주요 오픈소스 프로젝트와 데이터셋은 무엇인가?

주요 결과

• SAM은 프롬프트 가능(prompta ble)한 접근 방식을 사용하여 분할 작업에서 강한 제로샷 일반화를 가능하게 한다.
• SA-1B 데이터셋은 학습 및 평가를 지원하기 위해 1,100만 장 이상의 이미지와 11억 개의 마스크를 모은다.
• SAM은 특정 맥락에서 여러 분할 작업에서 경쟁력 있거나 우수한 성능을 보인다(예: 단일 큐 포인트 분할, 에지 검출, 객체 제안, 인스턴스 분할, 인터랙티브 및 다중 모달 분할).
• SAM의 효과는 저대조 및 매우 복합한 장면 및 안전 중요한 환경(예: 투명 또는 유리 객체)에서 감소한다.
• 확장 및 동시 연구들(SEEM, OneFormer, SegGPT)은 프롬프트 및 태스크 범위를 넓히며, 보편적 비전 모델의 발전에서 SAM의 중심 역할을 시사한다.

Figure 2: Overall structure of SAM from the original paper [ 20 ] .