[論文レビュー] UVOSAM: A Mask-free Paradigm for Unsupervised Video Object Segmentation via Segment Anything Model

H. H. Zhang, Shengfan Zhang+3 more|arXiv (Cornell University)|May 22, 2023

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

UVOSAMは、ビデオ顕著オブジェクト追跡（VSOT）ネットワークから得られる軌跡をプロンプトとして用いることで、Segment Anything Model（SAM）を活用したマスクフリーな教師なしビデオオブジェクト分離フレームワークを提案する。DAVIS2017において最先端の性能を達成し、手動でマスクをアノテートする必要がないにもかかわらず、マスク教師あり手法を大きく上回る。

ABSTRACT

The current state-of-the-art methods for unsupervised video object segmentation (UVOS) require extensive training on video datasets with mask annotations, limiting their effectiveness in handling challenging scenarios. However, the Segment Anything Model (SAM) introduces a new prompt-driven paradigm for image segmentation, offering new possibilities. In this study, we investigate SAM's potential for UVOS through different prompt strategies. We then propose UVOSAM, a mask-free paradigm for UVOS that utilizes the STD-Net tracker. STD-Net incorporates a spatial-temporal decoupled deformable attention mechanism to establish an effective correlation between intra- and inter-frame features, remarkably enhancing the quality of box prompts in complex video scenes. Extensive experiments on the DAVIS2017-unsupervised and YoutubeVIS19\&21 datasets demonstrate the superior performance of UVOSAM without mask supervision compared to existing mask-supervised methods, as well as its ability to generalize to weakly-annotated video datasets. Code can be found at https://github.com/alibaba/UVOSAM.

研究の動機と目的

• 教師ありビデオマスクデータセットの高コストとスケーラビリティの制限を、教師なしビデオオブジェクト分離（VOS）の文脈で解決すること。
• SAMがインスタンス発見やアイデンティティの関連付け機能を欠いていることへの課題を克服し、SAMを教師なしVOSに応用可能にする。
• 手動マスクアノテーションを一切不要とする完全自動化されたパイプラインを構築し、安定したオブジェクト軌跡を生成してSAMをプロンプト化すること。
• 専用のビデオ顕著オブジェクト追跡ネットワークを用いて空間的・時間的相関を活用し、複雑なシーンにおける分離精度を向上させること。

提案手法

• 2段階のフレームワークを導入：まず、ビデオ顕著オブジェクト追跡（VSOT）モデルが顕著なオブジェクトを検出し、フレーム間を貫いて完全なオブジェクト軌跡を生成する。
• 予測された軌跡（バウンディングボックスとして）をプロンプトとして用い、SAMによるフレームごとのマスク生成を実現し、手動マスクアノテーションの代わりとする。
• IDOLアーキテクチャをベースにVSOTネットワークを設計したが、マスク予測ブランチを削除することで、判別的特徴学習と時間的整合性の向上に焦点を当てる。
• SAMにボックスプロンプトとポイントプロンプトを併用し、アブレーションスタディにより、ボックスと複数ポイント（例：3〜5ポイント）の組み合わせが最適なパフォーマンスを示すことを確認。
• VSOTにおける空間的・時間的対応関係を活用し、動画シーケンス全体で安定的かつ正確なオブジェクト関連付けを実現する。
• プロンプトの組み合わせ戦略（例：ボックス＋3〜5ポイント）を採用し、曖昧性を低減し、複雑なシーンにおけるマスク精度を向上させる。

Figure 1: The overall illustration of our proposed UVOSAM, mainly consisting of the VSOT and SAM. The VSOT is trained only using the bounding box annotations to generate the trajectories of video salient objects, which are then served as the prompts for SAM. By freezing the entire SAM, we aim to ret

実験結果

リサーチクエスチョン

• RQ1 手動マスクアノテーションを一切必要としない状況で、Segment Anything Model（SAM）を教師なしビデオオブジェクト分離に効果的に適応できるか？
• RQ2 ビデオ環境下で、SAMのインスタンス発見能力とアイデンティティ関連付け機能の欠如をどのように克服できるか？
• RQ3 ビデオ文脈におけるSAMプロンプトとして、ボックス、ポイント、またはその組み合わせといったどのプロンプト設定が最高の分離パフォーマンスをもたらすか？
• RQ4 ビデオ顕著オブジェクト追跡ネットワークは、複雑なシーンにおいても信頼性が高く、長期的な軌跡を生成し、SAMのプロンプトとして効果的に機能するか？
• RQ5 マスクフリーなパラダイムとして、SAMと軌跡プロンプトを組み合わせた手法は、既存のマスク教師あり教師なしVOS手法を上回るか？

主な発見

• UVOSAMはDAVIS2017の検証セットでJ&Fスコア88.3を達成し、現在のマスク教師あり最先端手法を大きく上回る。
• ボックスと5ポイントプロンプトの組み合わせが最高のパフォーマンス（J&F = 88.3）を示し、構造的および密集した空間的ヒントがSAMの分離精度を向上させることを示している。
• ポイントプロンプトに3ポイントを用いることで、単一ポイントに比べJ&Fスコアが29.6ポイント向上し、より多くのポイントが意味的曖昧性を低減することを示している。
• VSOTモデル単体でもJ&Fスコア78.9を達成しており、顕著オブジェクト発見と軌跡生成の能力が優れていることを示している。
• DAVIS2017の全指標において、MOT（61.1 J&F）やVSOT（78.9 J&F）を含むすべてのベースライン手法を上回っており、本手法の優位性を実証している。
• 細長いオブジェクトの検出や遮蔽の処理には限界があるものの、空間的・時間的相関を効果的に活用することで、複雑なシーンにおいても頑健な性能を示している。

Figure 2: The Mask quality from Ground truth and UVOSAM on YoutubeVIS-19 split set. The annotations of YoutubeVIS are not always accurate in identifying the foreground object, as they sometimes label the background areas near the edge of the object as foreground, which are highlighted with red dotte