[論文レビュー] Efficient Video Instance Segmentation via Tracklet Query and Proposal

Jialian Wu, Sudhir Yarram+5 more|arXiv (Cornell University)|Mar 3, 2022

Video Analysis and Summarization被引用数 4

ひとこと要約

この論文では、トラックレットクエリとプロポーザルを用いることで、効率的でリアルタイムの推論と高速な学習を可能にする、完全にエンド・ツー・エンドな動画インスタンスセグメンテーションフレームワーク、EfficientVISを提案する。ROI単位のクエリ-動画相互作用と対応学習を活用したクリップ間トラッキングにより、VisTRの15倍少ない学習エポックでYouTube-VISで最先端の精度を達成し、手作業によるデータアソシエーションの必要性を排除する。

ABSTRACT

Video Instance Segmentation (VIS) aims to simultaneously classify, segment, and track multiple object instances in videos. Recent clip-level VIS takes a short video clip as input each time showing stronger performance than frame-level VIS (tracking-by-segmentation), as more temporal context from multiple frames is utilized. Yet, most clip-level methods are neither end-to-end learnable nor real-time. These limitations are addressed by the recent VIS transformer (VisTR) which performs VIS end-to-end within a clip. However, VisTR suffers from long training time due to its frame-wise dense attention. In addition, VisTR is not fully end-to-end learnable in multiple video clips as it requires a hand-crafted data association to link instance tracklets between successive clips. This paper proposes EfficientVIS, a fully end-to-end framework with efficient training and inference. At the core are tracklet query and tracklet proposal that associate and segment regions-of-interest (RoIs) across space and time by an iterative query-video interaction. We further propose a correspondence learning that makes tracklets linking between clips end-to-end learnable. Compared to VisTR, EfficientVIS requires 15x fewer training epochs while achieving state-of-the-art accuracy on the YouTube-VIS benchmark. Meanwhile, our method enables whole video instance segmentation in a single end-to-end pass without data association at all.

研究の動機と目的

• 既存のクリップレベル動画インスタンスセグメンテーション手法の収束が遅く、エンド・ツー・エンドでないという問題に取り組む。
• 複数クリップの動画処理における手作業によるデータアソシエーションの必要性を排除する。
• 高いセグメンテーション精度を維持しながら、リアルタイムの推論と高速な学習を実現する。
• 強化された時間的文脈モデリングにより、オブジェクトの隠蔽やモーショングラブにさらなる耐性を高める。
• 全動画にわたる完全なエンド・ツー・エンド学習、特にクリップ間トラックレットのリンクを可能にする。

提案手法

• 対応学習を介してクリップ間で更新される、インスタンスの外観をエンコードする学習可能な潜在埋め込みであるトラックレットクエリを導入する。
• 各インスタンスのための領域を定義する空間的・時間的チューブであるトラックレットプロポーザルを採用し、計算量とバックグラウンドのノイズを低減する。
• プロポーザル内でのフレーム間特徴の集約により、時間的文脈を豊かにするための時間的動的畳み込みを用いる。
• 空間的・時間的両方の相互作用を可能にする因子分解された時空間自己注意機構を適用し、1回のフォワードパスで完全なトラックレットマスクを生成する。
• クリップ間でトラックレットクエリを共有・更新する対応学習メカニズムを設計し、データアソシエーションを必要とせずにエンド・ツー・エンドのクリップ間関連付けを実現する。
• プロポーザルで定義された領域に焦点を当てるROI単位のクエリ-動画相互作用を採用し、VisTRのフレーム単位の密なアテンションと比較して、冗長なアテンションを著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 クリップレベルの動画インスタンスセグメンテーションフレームワークは、高い精度を維持しながらも高速な収束を達成できるか？
• RQ2 エンド・ツー・エンド学習を単一クリップの範囲を超えて、複数クリップにわたるシームレスで学習可能なトラックレットリンクを可能にできるか？
• RQ3 学習可能な対応メカニズムにより、複数クリップのVISにおける手作業によるデータアソシエーションへの依存を排除できるか？
• RQ4 ROI単位のクエリ相互作用は、トレーニング効率とセグメンテーション精度の観点で、密なアテンションと比較してどのように異なるか？
• RQ5 モーショントラッカーが失敗する低フレームレート条件下でも、このフレームワークは強力な性能を維持できるか？

主な発見

• EfficientVISは、追加データやマルチモデルアンサンブルを用いずに、YouTube-VIS 2019および2021ベンチマークで最先端のパフォーマンスを達成した。
• VisTRと比較して学習時間を15倍短縮し、はるかに少ないエポック数で収束した。
• EfficientVISは、VisTRと比較してAP75を1.5%、AR（リコール）を3.2%向上させ、マスクの精度が高く、隠蔽されたオブジェクトの検出も優れていることが示された。
• フレームレートが0.2 FPS（5秒に1フレーム）の条件下でも、強力な性能を維持しており、低フレームレートおよびモーショングラブに対する耐性を示した。
• 複数クリップ設定において、対応学習は手作業によるデータアソシエーションを上回り、YouTube-VIS 2019で2.1%高いAPを達成した。
• ROI単位の設計により、バックグラウンドの干渉が低減され、マスク品質が向上し、収束が速いにもかかわらず、高い精度に寄与した。