[論文レビュー] AI-SAM: Automatic and Interactive Segment Anything Model

Yimu Pan, Sitao Zhang+3 more|arXiv (Cornell University)|Dec 5, 2023

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

AI-SAMは自動セグメンテーションと対話型セグメンテーションを組み合わせる。AI-Prompterを導入して点プロンプトを自動生成しつつ、ユーザー入力でマスクを洗練させ、自動・対話型タスクで最先端性能を達成する。

ABSTRACT

Semantic segmentation is a core task in computer vision. Existing methods are generally divided into two categories: automatic and interactive. Interactive approaches, exemplified by the Segment Anything Model (SAM), have shown promise as pre-trained models. However, current adaptation strategies for these models tend to lean towards either automatic or interactive approaches. Interactive methods depend on prompts user input to operate, while automatic ones bypass the interactive promptability entirely. Addressing these limitations, we introduce a novel paradigm and its first model: the Automatic and Interactive Segment Anything Model (AI-SAM). In this paradigm, we conduct a comprehensive analysis of prompt quality and introduce the pioneering Automatic and Interactive Prompter (AI-Prompter) that automatically generates initial point prompts while accepting additional user inputs. Our experimental results demonstrate AI-SAM's effectiveness in the automatic setting, achieving state-of-the-art performance. Significantly, it offers the flexibility to incorporate additional user prompts, thereby further enhancing its performance. The project page is available at https://github.com/ymp5078/AI-SAM.

研究の動機と目的

• プロンプト可能性を維持しつつ自動セグメンテーション性能を達成する、統合型の自動および対話型セグメンテーションパラダイムを提案する。
• 意味論的セグメンテーションを評価するためのプロンプト品質の分析とフレームワークを確立する。
• オブジェクトの正確な局在に向けた特化した損失でガイドされるロバストな点プロンプトを自動生成するAI-Prompterを開発する。
• 自動プロンプト生成をSAMベースの対話型セグメンテーションモデルに統合するエンドツーエンドの訓練を可能にする。
• 医用および一般的なセグメンテーションタスクで最先端の結果を示し、既存のSAMベースの適応法との互換性を示す。

提案手法

• AI-SAMは自動点プロンプト生成のAI-PrompterとSAMベースのセグメンテーションバックボーンを構成要素として導入する。
• プロンプトをエンコードするために一般化点表現P_g = W^T Pを使用し、微分可能なパイプラインを介してP_gをプロンプトエンコーダへ供給する。
• 点の正確性損失L_pc、点のシャープさ損失L_ps、プロンプト多様性損失L_pdを組み合わせたプロンプトヒューリスティック損失L_phでAI-Prompterを訓練する。
• AI-Prompter内の畳み込みブロックを含む双方向トランスフォーマー様のアーキテクチャを活用し、画像特徴量とクラスcに条件付けられた点プロンプトを生成する。
• 推論時にはAI-SAMが自動的にプロンプトとマスクを生成する一方、追加の点や境界ボックスといったユーザー調整を許容する。
• 医用およびカモフラージュ/影セグメンテーションのベンチマークでAI-SAMを評価し、自動および対話的な改善を示す。

実験結果

リサーチクエスチョン

• RQ1 自動セグメンテーション機能と対話型セグメンテーション機能を、性能やプロンプト可能性を犠牲にせずにモデルがシームレスに組み合わせるにはどうすればよいか？
• RQ2 自動および対話型セグメンテーションの効果的なプロンプトとは何か、そしてそれを定量的に分析するにはどうすればよいか？
• RQ3 自動プロンプト生成（AI-Prompter）は、SAMと組み合わせるとセグメンテーションを改善する高品質で変更可能な点プロンプトを生成できるか？
• RQ4 自動プロンプト生成をSAMベースの適応法と統合すると、データセットやモダリティを跨いで最先端の結果を得られるか？

主な発見

• AI-SAMはSynapseおよびACDCデータセットで自動セグメンテーションにおいて最先端の性能を達成。
• 対話設定では、クラスラベルまたは真値のボックスプロンプトを用いたAI-SAMが評価された方法の中でトップの性能を獲得。
• AI-PrompterはSAMベースの適応法（例：SAM-Adapter）をカモフラージュと影検出タスクで改善。
• PCM（Prompt Confusion Matrix）とOCM（Output Confusion Matrix）によるプロンプト品質分析は、意味的類似性の高い（TSS）一方、偽類似性が低い（FSS）優先を支持。
• 一般化された点表現は微分可能で適応性の高いプロンプトを可能にし、点の正確性・点のシャープさ・多様性の損失で調整可能。
• このフレームワークはSAMのプロンプト性を保ちつつ、自動セグメンテーション機能と頑健なユーザ指向の改良を提供。