[論文レビュー] SegGPT: Segmenting Everything In Context

Xinlong Wang, Xiaosong Zhang+4 more|arXiv (Cornell University)|Apr 6, 2023

Domain Adaptation and Few-Shot Learning被引用数 61

ひとこと要約

SegGPT は、タスク固有のアーキテクチャを必要とせず、さまざまなセグメンテーションタスクをインコンテキスト学習フレームワークに統合する汎用モデルであり、画像や動画のインスタンス、stuff、部位、輪郭、テキストをセグメンテーションできる。ランダムなインコンテキスト着色と文脈ベースの prompting を用いて、インコンテキスト推論を通じてさまざまなセグメンテーションタスクを実行する。

ABSTRACT

We present SegGPT, a generalist model for segmenting everything in context. We unify various segmentation tasks into a generalist in-context learning framework that accommodates different kinds of segmentation data by transforming them into the same format of images. The training of SegGPT is formulated as an in-context coloring problem with random color mapping for each data sample. The objective is to accomplish diverse tasks according to the context, rather than relying on specific colors. After training, SegGPT can perform arbitrary segmentation tasks in images or videos via in-context inference, such as object instance, stuff, part, contour, and text. SegGPT is evaluated on a broad range of tasks, including few-shot semantic segmentation, video object segmentation, semantic segmentation, and panoptic segmentation. Our results show strong capabilities in segmenting in-domain and out-of-domain targets, either qualitatively or quantitatively.

研究の動機と目的

• データタイプ全体で多様なセグメンテーションタスクを解決できる単一の汎用モデルを構築することを目指す（semantic、instance、panoptic、part、text、aerial/medical）。
• 全てのセグメンテーションデータをモデルが着色によって再構築できる共通の画像形式表現へ変換することで、インコンテキスト学習を活用する。
• 柔軟な、ドメイン外のセグメンテーション能力を可能にするトレーニングと推論戦略（ランダム着色、コンテキストアンサンブル、インコンテキスト調整）を開発する。
• 画像と動画のインドメインおよびアウトオブドメインのセグメンテーションベンチマークでの性能を示す。すべてのタスクで最先端を期待しない。

提案手法

• Painter フレームワーク内で segmentation タスクをインコンテキスト画像着色問題として再構成し、 vanilla ViT backbone と smooth-L1 loss を用いる。
• 固定のカラー mappings に依存することを防ぎ、文脈主導のタスク完了を促すランダムな着色スキームを導入する。
• インコンテキストおよびミックスコンテキスト学習を用いて、アーキテクチャ変更なしで semantic、instance、panoptic、part、その他のセグメンテーションデータを統一する。
• 推論時に複数の例から情報を統合するための文脈アンサンブル戦略（Spatial Ensemble と Feature Ensemble）を提案する。
• 特定データセットやシーンに適応するため、モデルを凍結し学習可能な入力-文脈テンソルを最適化して、インコンテキスト調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの汎用モデルが画像と動画の両方で、semantic、instance、panoptic、part、contour、text などの幅広いセグメンテーションタスクを実行できるか。
• RQ2 ランダムなインコンテキスト着色とミックスコンテキスト学習は、ドメイン外のセグメンテーションタスクへの generalization を改善するか。
• RQ3 コンテキストアンサンブルとインコンテキスト調整は、few-shot および video object segmentation のベンチマークでの性能にどう影響するか。
• RQ4 多様なデータセットに対して単一の SegGPT モデルを使用する際の、イン-domain 性能と一般化のトレードオフは何か。

主な発見

• SegGPT は few-shot semantic segmentation ベンチマークで競争力のある結果を出し、インドメインおよびアウトオブドメイン設定の一部の専門・汎用ベースラインより上回る。
• video object segmentation では、動画データで訓練されていなくても、専門手法に対して競争力のあるスコアを示し、コンテキストアンサンブルはフレームレベルの精度を向上させる。
• ADE20K semantic segmentation および COCO panoptic segmentation でのインコンテキスト調整では、専門手法と比較して競争力があるまたは低い性能を示し、ランダム着色を用いる際のトレードオフを浮き彫りにする。
• コンテキストアンサンブル手法（Spatial Ensemble と Feature Ensemble）は頑健な向上をもたらし、特に高解像度の動画データセットでは Feature Ensemble がより良い性能を提供する傾向がある。
• 本モデルは、タスク固有の訓練を必要とせず、パーツ/オブジェクトセグメンテーション、テキストセグメンテーション、ビデオオブジェクトセグメンテーションなど、幅広いタスクにおいて強力な定性的能力を示す。