[論文レビュー] Motion-inductive Self-supervised Object Discovery in Videos

Shuangrui Ding, Weidi Xie+5 more|arXiv (Cornell University)|Oct 1, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

本論文は、光流を入力とせず、RGBフレームを直接処理して動きに起因するセグメンテーションマスクを推論する自己教師付き動画オブジェクト発見モデル、MODを提案する。ランダムペアリング戦略と推論マスクの時間的整合性を強制することで、DAVIS2016、SegTrackv2、FBMS-59で最先端の性能を達成し、光流計算のオーバーヘッドを回避する。

ABSTRACT

In this paper, we consider the task of unsupervised object discovery in videos. Previous works have shown promising results via processing optical flows to segment objects. However, taking flow as input brings about two drawbacks. First, flow cannot capture sufficient cues when objects remain static or partially occluded. Second, it is challenging to establish temporal coherency from flow-only input, due to the missing texture information. To tackle these limitations, we propose a model for directly processing consecutive RGB frames, and infer the optical flow between any pair of frames using a layered representation, with the opacity channels being treated as the segmentation. Additionally, to enforce object permanence, we apply temporal consistency loss on the inferred masks from randomly-paired frames, which refer to the motions at different paces, and encourage the model to segment the objects even if they may not move at the current time point. Experimentally, we demonstrate superior performance over previous state-of-the-art methods on three public video segmentation datasets (DAVIS2016, SegTrackv2, and FBMS-59), while being computationally efficient by avoiding the overhead of computing optical flow as input.

研究の動機と目的

• 光流に基づく手法の限界、例えば静止状態や遮蔽状態での失敗を是正すること。
• オブジェクトが特定の時刻に動いていなくても、それを追跡できるようにすることでオブジェクト恒続性を実現すること。
• 推論時に光流計算を不要にするために、RGBフレームに直接学習すること。
• ランダムフレームペアと時間的整合性を用いた自己教師付き代理タスクを開発し、マスク予測をガイドすること。
• 標準ベンチマークで高いセグメンテーション精度を達成しながら、計算効率を維持すること。

提案手法

• モデルは視覚エンコーダーを用いて連続するRGBフレームを符号化し、ライトフュージョンTransformerエンコーダーで特徴を統合する。
• フレームコンパレータモジュールは、ランダムにペairedされたフレーム特徴を処理し、相対的動きを符号化することで、明示的な光流入力を必要とせずに動きを誘導する。
• 二段階のフローレコンストラクションヘッドは、動き特徴を光流にデコードし、各層の不透明度重みをセグメンテーションマスクとして扱う。
• モデルは自己教師付き代理タスクで訓練される：オフザシェルフの光流推定器（例：RAFT）を用いて、ランダムフレームペア間の光流を再構築することを監視対象とする。
• 推論マスクに対してランダムペアフレーム上での時間的整合性損失を適用し、オブジェクト恒続性を強化し、静止または部分的遮蔽状態のオブジェクトに対するロバスト性を向上させる。
• 訓練および推論時に、いかなる正解マスクアノテーションも使用せず、RGBシーケンスからの動きの手がかりにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 RGBフレームのみを用いて、光流を入力とせず、自己教師付きで動画内の動きのあるオブジェクトを発見できるか？
• RQ2 推論マスクに時間的整合性を強制することで、オブジェクトが静止または遮蔽されている場合のオブジェクト恒続性をどのように向上させられるか？
• RQ3 フレーム特徴のランダムペアリング戦略が、動き理解を効果的に誘導し、セグメンテーション性能を向上させられるか？
• RQ4 RGBフレームからの豊富なテクスチャ情報を利用することで、動きの手がかりが弱い状況下でも、光流のみのベースラインを上回る性能を達成できるか？
• RQ5 マスクの監視なしに学習されたモデルが、標準的な動画セグメンテーションベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたMODモデルは、DAVIS2016、SegTrackv2、FBMS-59で、従来の自己教師付きおよび教師あり手法を上回る最先端の性能を達成した。
• ランダムペアフレーム上での時間的整合性の強制により、静止および部分的遮蔽状態のオブジェクトに対する一般化性能が顕著に向上した。
• 明示的な光流計算を回避したことで、光流ベースのベースラインと比較してより高速な推論速度を達成した。
• アブレーションスタディにより、ランダムペアリング戦略と時間的整合性損失が、特に動きの不連続性を扱う際に性能に不可欠であることが確認された。
• テクスチャ豊富なRGBフレームを用いることで、動きの手がかりが弱い場合に失敗する光流のみのベースラインと比較して、よりロバストで正確なマスク予測が可能になった。
• オブジェクトが特定の時刻に動いていなくても、時間的に分散したテクスチャパターンを抽出することで、オブジェクト恒続性を効果的に学習した。