[論文レビュー] A Comprehensive Survey on Segment Anything Model for Vision and Beyond

Chunhui Zhang, Li Liu+5 more|arXiv (Cornell University)|May 14, 2023

Advanced Neural Network Applications被引用数 47

ひとこと要約

この調査は Segment Anything Model (SAM) と関連ファウンデーションモデルをレビューし、その進捗・能力・限界・幅広い適用を分析し、将来の研究を導く。

ABSTRACT

Artificial intelligence (AI) is evolving towards artificial general intelligence, which refers to the ability of an AI system to perform a wide range of tasks and exhibit a level of intelligence similar to that of a human being. This is in contrast to narrow or specialized AI, which is designed to perform specific tasks with a high degree of efficiency. Therefore, it is urgent to design a general class of models, which we term foundation models, trained on broad data that can be adapted to various downstream tasks. The recently proposed segment anything model (SAM) has made significant progress in breaking the boundaries of segmentation, greatly promoting the development of foundation models for computer vision. To fully comprehend SAM, we conduct a survey study. As the first to comprehensively review the progress of segmenting anything task for vision and beyond based on the foundation model of SAM, this work focuses on its applications to various tasks and data types by discussing its historical development, recent progress, and profound impact on broad applications. We first introduce the background and terminology for foundation models including SAM, as well as state-of-the-art methods contemporaneous with SAM that are significant for segmenting anything task. Then, we analyze and summarize the advantages and limitations of SAM across various image processing applications, including software scenes, real-world scenes, and complex scenes. Importantly, many insights are drawn to guide future research to develop more versatile foundation models and improve the architecture of SAM. We also summarize massive other amazing applications of SAM in vision and beyond. Finally, we maintain a continuously updated paper list and an open-source project summary for foundation model SAM at \href{https://github.com/liliu-avril/Awesome-Segment-Anything}{\color{magenta}{here}}.

研究の動機と目的

• SAM および関連ファウンデーションモデルに基づく Anything タスクの進捗を調査する。
• SAM のソフトウェア、実世界、複雑なシーンにおける利点と制約を分析する。
• SAM のビジョン分野およびそれ以外の応用を要約し、将来の研究開発を導く。
• より汎用的なファウンデーションモデルを設計し、SAM アーキテクチャを改善するための洞察を提供する。
• SAM に関連する論文やオープンソースプロジェクトの最新リストを維持する。

提案手法

• ファウンデーションモデルと SAM の背景、用語、そして Anything のセグメンテーションに関連する contemporaneous な手法を説明する。
• SAM のアーキテクチャを詳述する：画像エンコーダ（MAE 事前学習済み ViT）、プロンプトエンコーダ（疎密な入力）、マスクデコーダ。
• データエンジンと SA-1B データセット構築ワークフローを説明する（支援的手動、半自動、全自動の段階）。
• SAM がサポートする画像処理アプリケーションをソフトウェア、実世界、複雑なシーンにわたって要約する。
• 同時発表の研究（OneFormer、SegGPT、SEEM）と SAM のより広いタスクへの下流拡張について論じる。

Figure 1: Overview of the SA project, including task, model, and data. The figure is borrowed from the original paper [ 20 ] .

実験結果

リサーチクエスチョン

• RQ1 SAM および関連ファウンデーションモデルを用いた Anything タスクでどの程度進展があったか？
• RQ2 SAM はさまざまな画像タイプや実世界の状況でどのように性能を示し、どこで苦戦するか？
• RQ3 ビジョンタスクとそれ以外の領域における SAM の主な利点と限界は何か？
• RQ4 より汎用的なファウンデーションモデルを構築し、SAM を改善するために有望な方向性とアーキテクチャは何か？
• RQ5 SAM の研究と応用を推進する主要なオープンソースプロジェクトとデータセットは何か？

主な発見

• SAM はプロンプト可能なアプローチを用いたセグメンテーションタスクに対して強力なゼロショット一般化を実現する。
• SA-1B データセットは訓練と評価を支えるために 1100 万枚以上の画像と 11 億以上のマスクを集約している。
• SAM はいくつかのセグメンテーションタスク（例：単一の手掛かり点セグメンテーション、エッジ検出、オブジェクト提案、インスタンスセグメンテーション、対話型およびマルチモーダルセグメンテーション）で、ベースラインと比較して競争力がある、または上回る性能を示す場合がある。
• SAM の効果は低コントラストおよび非常に複雑なシーン、透明物体やガラス物体など安全 critical な環境で低下する。
• 拡張機能と同時発表の研究（例：SEEM、OneFormer、SegGPT）はプロンプトとタスク範囲を広げ、SAM が汎用的なビジョンモデルを推進する中心的役割を示している。

Figure 2: Overall structure of SAM from the original paper [ 20 ] .