[論文レビュー] A Survey on Segment Anything Model (SAM): Vision Foundation Model Meets Prompt Engineering

Chaoning Zhang, Cho, Joseph+12 more|arXiv (Cornell University)|May 12, 2023

Advanced Neural Network Applications被引用数 28

ひとこと要約

本論文は、視覚ファウンデーションモデル時代の Segment Anything Model (SAM) を概説し、その評価、堅牢性、統合を検討するとともに、“segment anything” シナリオにおける SAM の統一評価指標を提案する。

ABSTRACT

The Segment Anything Model (SAM), developed by Meta AI Research, represents a significant breakthrough in computer vision, offering a robust framework for image and video segmentation. This survey provides a comprehensive exploration of the SAM family, including SAM and SAM 2, highlighting their advancements in granularity and contextual understanding. Our study demonstrates SAM's versatility across a wide range of applications while identifying areas where improvements are needed, particularly in scenarios requiring high granularity and in the absence of explicit prompts. By mapping the evolution and capabilities of SAM models, we offer insights into their strengths and limitations and suggest future research directions, including domain-specific adaptations and enhanced memory and propagation mechanisms. We believe that this survey comprehensively covers the breadth of SAM's applications and challenges, setting the stage for ongoing advancements in segmentation technology.

研究の動機と目的

• ファインチューニングなしで、医療や現実世界のシーンを含む多様な領域における SAM のゼロショット分割能力を評価する。
• プロンプトとプロンプトエンコーダ設計が分割品質と堅牢性に与える影響を要約する。
• SAM が他のファウンデーションモデルやAIシステム（例：LLMs、グラウンディングモデル、拡散モデル）とどのように統合されるかをレビューする。
• SAM の限界を特定し、統一評価指標と標準化されたベンチマーキングの方向性を提案する。

提案手法

• 医用画像、実世界のセグメンテーション、およびマルチモデルパイプラインに関する SAM 関連研究の文献調査。
• SAM アプリケーションを評価、他モデルとの統合、3D/時間的拡張に分類。
• 堅牢性研究、プロンプトモダリティ、ドメイン適応手法（例：アダプター、ファインチューニング）についての議論。
• SAM 出力を活用した X-anything パラダイム（ラベリング、インペイント、トラッキング、3D タスク）の総合。

実験結果

リサーチクエスチョン

• RQ1 異なるプロンプトの下でファインチューニングなしに多様な領域の物体を SAM はどれだけ正確にセグメントできるか。
• RQ2 SAM の分割品質と堅牢性を左右する主な要因（プロンプト、アダプター、フレーミング）は何か。
• RQ3 ラベリング、インペイント、3Dタスクを扱うために、SAM を他のモデル（LLMs、グラウンディングモデル、拡散モデル）と効果的に組み合わせるにはどうすればよいか。
• RQ4 “segment anything” シナリオにおける SAM ベースの分割の統一評価指標とは何か。

主な発見

• SAM はプロンプト可能な入力で強力なゼロショット分割を達成しますが、精度はオブジェクト境界の明確さと領域によって異なります（例：いくつかの医療臓器は完全に監視されたモデルよりギャップが大きいことがある）。
• ボックスプロンプトと複数点プロンプトは、通常、自動プロンプトや点のみのプロンプトより分割を改善し、組み合わせが特定の設定でさらなる向上をもたらす。
• ファインチューニングによるドメイン適応（特にマスクデコーダ）とドメインアダプタは、医用画像で Dice スコアを大幅に向上させる可能性があり（通常80％を超える）。
• Grounding-DINO、BLIP、CLIP、他の LLM/LVM コンポーネントとの統合により、ラベリング、キャプショニング、データ注釈、3D/4D タスクなど、単なる分割能力を超えた機能を実現する。
• SAM の堅牢性は画像劣化に対して混在しており、一般的な劣化で控えめな低下を報告する研究もあれば、困難なシーンや医用画像ではより大きな影響を見出す研究もある。敵対的攻撃はホワイトボックス設定で顕著な脆弱性を示す。
• “X-anything” パラダイム（Label Anything, Inpaint Anything, Track Anything など）は、ラベリング、インペイント、3D アプリケーションにおける SAM の多才さを示し、幅広い現実世界の利用ケースを可能にする。