[論文レビュー] Self-supervised Video Object Segmentation by Motion Grouping

Charig Yang, Hala Lamdouar+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Vision and Imaging参考文献 88被引用数 6

ひとこと要約

本論文は、オプティカルフローのみを用いてオブジェクトをセグメンテーションする自己教師あり動画オブジェクトセグメンテーション手法を提案する。スロットアテンションに基づくトランスフォーマーの変種を用いて、類似した運動を示すピクセルを前景および背景レイヤーにグループ化する。DAVIS2016では最先端の性能を達成し、難易度の高いMoCAカモフラージュデータセットでは、すべての先行自己教師あり手法を上回り、運動の手がかりの重要性が顕著に示された。

ABSTRACT

Animals have evolved highly functional visual systems to understand motion, assisting perception even under complex environments. In this paper, we work towards developing a computer vision system able to segment objects by exploiting motion cues, i.e. motion segmentation. We make the following contributions: First, we introduce a simple variant of the Transformer to segment optical flow frames into primary objects and the background. Second, we train the architecture in a self-supervised manner, i.e. without using any manual annotations. Third, we analyze several critical components of our method and conduct thorough ablation studies to validate their necessity. Fourth, we evaluate the proposed architecture on public benchmarks (DAVIS2016, SegTrackv2, and FBMS59). Despite using only optical flow as input, our approach achieves superior or comparable results to previous state-of-the-art self-supervised methods, while being an order of magnitude faster. We additionally evaluate on a challenging camouflage dataset (MoCA), significantly outperforming the other self-supervised approaches, and comparing favourably to the top supervised approach, highlighting the importance of motion cues, and the potential bias towards visual appearance in existing video segmentation models.

研究の動機と目的

• 人間によるアノテーションマスクを一切使用せず、オプティカルフローからのみ運動の手がかりに依存する自己教師あり動画オブジェクトセグメンテーションモデルの開発。
• 特に共通の運命の原則に基づく運動ベースの知覚的グループ化が、複雑なシーンにおいて正確かつ効率的なオブジェクトセグメンテーションを可能にするかの調査。
• 外見の手がかりが誤解を招くような、カモフラージュ（MoCA）のような挑戦的なデータセットにおけるモデルの頑健性の評価を通し、外見中心のモデルの限界を浮き彫りにする。
• CRF や時系列平均化などの計算コストの高い後処理を回避する軽量アーキテクチャを採用することで、80fps以上の高速推論を実現すること。

提案手法

• 自己注意をスロットアテンションに置き換えた変更されたトランスフォーマーのアーキテクチャを採用し、類似した運動を示すピクセルを反復的にグループ化・結合することで、明確なオブジェクトおよび背景レイヤーを形成する。
• 時間的フレームギャップが異なる状況でも運動グループ化の一貫性を促進する自己教師ありの代理タスクを用いて訓練し、オプティカルフローに一貫性損失を適用する。
• 特に低速度運動や曖昧な領域においても訓練を安定化させるために、予測の信頼性を高めるためにエントロピー正則化損失を適用する。
• 477万パラメータの軽量VGGスタイルのエンコーダーを用い、CRF や時系列平均化などの後処理を一切不要とすることで、高速な推論を実現する。
• RGB や外見特徴を一切使用せず、オプティカルフローのみを入力とすることで、セグメンテーション性能に与える運動手がかりの寄与を明確に分離する。
• 予測されたセグメンテーションマスクと運動場から入力のフローを再構築する再構築目的関数を用いて、エンドツーエンドで訓練する。

Figure 1 : Segmenting camouflaged animals. Motion plays a critical role in augmenting the capability of our visual system for perceptual grouping in complex scenes – for example, in these sequences (MoCA dataset [ 39 ] ), the visual appearance (RGB images) is clearly uninformative. In this paper, we

実験結果

リサーチクエスチョン

• RQ1 オプティカルフローとしての運動手がかりのみで、自己教師ありの枠組みにおいて高品質な動画オブジェクトセグメンテーションを達成できるか？
• RQ2 外見の手がかりが誤解を招くような状況（例：カモフラージュ状況）において、運動ベースのセグメンテーションモデルは外見中心のモデルと比べてどのように性能を発揮するか？
• RQ3 運動グループ化における時間的一致性を強制することで、セグメンテーションの正確性と頑健性がどの程度向上するか？
• RQ4 アノテーションなしで訓練された軽量アーキテクチャは、リアルタイム推論速度（80fps以上）を達成しつつ、最先端の性能を維持できるか？

主な発見

• DAVIS2016では、以前の最先端の自己教師あり手法（CIS）に対して9.1%の絶対的向上を達成し、教師ありモデルに近い性能に到達した。
• MoCAカモフラージュデータセットでは、すべての先行自己教師あり手法を大きく上回り、後処理を適用しない状況でもCISに対して14%の向上を達成した。
• 小サイズの入力に対して80fps以上の速度で動作し、CRF やマルチクロップ平均化に依存する従来手法と比べて、1桁の速度向上を達成した。
• アブレーションスタディにより、時間的一致性損失およびエントロピー正則化損失の両方が性能に不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じた。
• MoCAにおけるモデルの性能は、外見中心のモデルの限界を浮き彫りにした。これは、外見に強く依存するトップレベルの教師ありモデル（COSNet）ですら、本モデルに劣る結果を示した。
• 複数の独立して動くオブジェクトに対しては性能を発揮できないことが判明した。これは、前景および背景の2つのスロットに制限されているためであり、今後の研究では動的スロット発見の必要性が示された。

Figure 2 : Pipeline. Our model takes optical flow $I_{t\rightarrow t+n}$ as input, and outputs a set of reconstruction and opacity layers. Specifically, it consists of three components: feature encoding, iterative binding, and decoding to layers, which are combined to reconstruct the input flow. To