[論文レビュー] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions

Henghui Ding, Chang Liu+3 more|arXiv (Cornell University)|Aug 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、時間的動きを重視し、静的属性を軸にしない動画セグメンテーションのための大規模ベンチマークMeViSを紹介する。また、言語に依存するクエリと動きに敏感な特徴集約を用いることで、セグメンテーション性能を向上させる新規ベースライン手法LMPMを提案し、37.2%のJ&Fスコアを達成。これは従来手法よりも顕著に高いスコアであり、複雑なシーンにおける動き誘導型セグメンテーションの課題を浮き彫りにしている。

ABSTRACT

This paper strives for motion expressions guided video segmentation, which focuses on segmenting objects in video content based on a sentence describing the motion of the objects. Existing referring video object datasets typically focus on salient objects and use language expressions that contain excessive static attributes that could potentially enable the target object to be identified in a single frame. These datasets downplay the importance of motion in video content for language-guided video object segmentation. To investigate the feasibility of using motion expressions to ground and segment objects in videos, we propose a large-scale dataset called MeViS, which contains numerous motion expressions to indicate target objects in complex environments. We benchmarked 5 existing referring video object segmentation (RVOS) methods and conducted a comprehensive comparison on the MeViS dataset. The results show that current RVOS methods cannot effectively address motion expression-guided video segmentation. We further analyze the challenges and propose a baseline approach for the proposed MeViS dataset. The goal of our benchmark is to provide a platform that enables the development of effective language-guided video segmentation algorithms that leverage motion expressions as a primary cue for object segmentation in complex video scenes. The proposed MeViS dataset has been released at https://henghuiding.github.io/MeViS.

研究の動機と目的

• 動画セグメンテーションにおいて動き表現を重視するベンチマークの不足に応えること。静的属性にとどまらない。
• 複雑な動画シーンにおいて、動きを主な手がかりとして対象オブジェクトを位置特定・セグメンテーションする可能性を調査すること。
• 高時間的複雑性と複数オブジェクトの動き表現を備えたデータセットを導入することで、従来の参照動画オブジェクトセグメンテーション（RVOS）手法に挑戦すること。
• より強固で動きに敏感な言語誘導型動画セグメンテーションモデルの開発の基盤を提供すること。
• 動的動画環境におけるグローバル時間的モデリング、複数オブジェクト追跡、クロスマodal理解に関する研究を可能にすること。

提案手法

• オブジェクト埋め込みを用いて潜在的ターゲットオブジェクトを検出するための言語に依存するクエリ生成機構を提案。これにより、耐障害性と効率性が向上する。
• オブジェクト埋め込み上での動き認識を適用し、動画全体の長期間および一時的な動きパターンを捉える。
• Transformerデコーダーを用いて言語特徴をデコードし、動き集約埋め込みに基づいてオブジェクトの軌跡を予測する。
• 言語特徴と予測軌跡の間の類似度マッチングモジュールを導入。単一および複数オブジェクトの表現に対応可能。
• 二段階訓練戦略を採用：第一段階はオブジェクト埋め込み上での動き認識。第二段階は言語信号との統合による軌跡予測とマッチング。
• LMPM（言語誘導型動き認識とマッチング）というベースラインモデルを設計。複雑な動画理解における動きに敏感なモデリングの有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 現在のRVOS手法は、静的視覚的特徴に依存せず、動き表現のみに依存してオブジェクトをセグメンテーションできるか？
• RQ2 静的外観ではなく、動きが主な手がかりである場合、最先端のRVOSモデルの性能はどの程度低下するか？
• RQ3 言語表現を用いて、複雑な動画シーケンスにおける長期間および一時的な動きをモデル化する上で、どのような主な課題が生じるか？
• RQ4 統一されたモデルが、一度のフレームワーク内で単一オブジェクトおよび複数オブジェクトの動き表現を効果的に処理できるか？
• RQ5 正確な動き表現の位置特定において、グローバル時間的文脈が果たす役割は何か？

主な発見

• 現在の最先端RVOS手法はMeViSでは27.8%〜31.0%のJ&Fを達成しており、Refer-Youtube-VOS や DAVIS 17-RVOS などの既存ベンチマークにおける60%以上の性能と比べて顕著に低い。
• 提案されたLMPMベースラインはMeViSで37.2%のJ&Fスコアを達成し、すべての先行手法を上回り、動きに敏感なモデリングの必要性を示している。
• 失敗事例から、モデルがターゲットオブジェクトの消失・再出現に対処できず、グローバル時間的推論に限界があることが明らかになった。
• 複数オブジェクトの複雑な動きの干渉（例：入り組んだ軌跡）により、特に後半の動画フレームで追跡に失敗する。
• MeViSの複数オブジェクト表現機能により、より現実的で挑戦的な評価シナリオが可能となり、しかし現在のモデルはその対応に十分でないことが判明。
• LMPMが「前方へ移動する」や「画面から出ていく」などの長期間の動き表現を効果的に処理できたことから、本フレームワークにおける動き認識と軌跡予測の価値が裏付けられた。