[論文レビュー] Simple Unsupervised Object-Centric Learning for Complex and Naturalistic Videos

Gautam Singh, Yifu Wu+1 more|arXiv (Cornell University)|May 27, 2022

Advanced Image and Video Retrieval Techniques被引用数 20

ひとこと要約

STEVE は、動画へ拡張された最小限の、トランスフォーマー型スロットデコーダー（SLATE）を導入し、監視なしで複雑で自然主義的なデータセット上で強力な非監視型オブジェクト中心のセグメンテーションと追跡を達成します。

ABSTRACT

Unsupervised object-centric learning aims to represent the modular, compositional, and causal structure of a scene as a set of object representations and thereby promises to resolve many critical limitations of traditional single-vector representations such as poor systematic generalization. Although there have been many remarkable advances in recent years, one of the most critical problems in this direction has been that previous methods work only with simple and synthetic scenes but not with complex and naturalistic images or videos. In this paper, we propose STEVE, an unsupervised model for object-centric learning in videos. Our proposed model makes a significant advancement by demonstrating its effectiveness on various complex and naturalistic videos unprecedented in this line of research. Interestingly, this is achieved by neither adding complexity to the model architecture nor introducing a new objective or weak supervision. Rather, it is achieved by a surprisingly simple architecture that uses a transformer-based image decoder conditioned on slots and the learning objective is simply to reconstruct the observation. Our experiment results on various complex and naturalistic videos show significant improvements compared to the previous state-of-the-art.

研究の動機と目的

• 複雑な自然主義シーンと動画に一般化する非監視型オブジェクト中心表現を動機付ける。
• 監督なしで動画中にオブジェクトの出現を可能にする、単純なアーキテクチャを実証する。
• 時系列モデルにおけるトランスフォーマー型スロットデコーダー（SLATE）の有効性を評価する。
• 多様で難易度の高いデータセットで STEVE を評価し、その頑健性と一般化を分析する。

提案手法

• 各フレームから特徴を抽出するために CNN ベースの画像エンコーダを使用する。
• 時間を通じて再帰的なスロットエンコーダによって更新される、フレームごとに N 個のスロットを維持する。
• スロットと離散 VAE トークンに条件付けられたスロット-トランスフォーマー・デコーダーでフレームをデコードする。
• トークン予測のクロスエントロピーと dVAE 画像再構成損失を組み合わせた再構成目的で訓練する。
• 各動画フレームを dVAE から出る離散トークンのシーケンスとして扱い、スロットを与えてトランスフォーマーを自己回帰的にそれらを予測するよう訓練する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの複雑さを追加せずに、スロット-トランスフォーマー・デコーダーを時系列の動画データに効果的に拡張できるか？
• RQ2 STEVE は、合成データセットを超えた、複雑で自然主義的な動画に対して堅牢な非監視型オブジェクト中心のセグメンテーションと追跡を達成するか？
• RQ3 オブジェクト中心の動画表現における、強力なトランスフォーマー型デコーダーと時系列学習はどのように相互作用するか？
• RQ4 データの複雑さ（質感、質感+動き）がセグメンテーションと新しいオブジェクトや質感への一般化に与える影響は何か？

主な発見

• STEVE は、5つの質感データセットにおいてベースラインより顕著に前景画像分割（FG-ARI）を改善する。
• STEVE は、複数のデータセットでより良い非監視型動画セグメンテーション（Video FG-ARI）を達成し、特に質感のあるコンテンツで顕著。
• SLATE と比較して、STEVE は動画内で整列したスロット表現と一貫した追跡を提供し、SLATE は一部の複雑な動画で失敗する。
• STEVE はカメラ動作と静的オブジェクトに対して頑健であり、多くのケースで分布外のオブジェクト数や未知の質感への一般化も可能。
• 自然データセット（Traffic, Aquarium）では、STEVE がベースラインを大幅に上回り、実世界のシーンでの強力な性能を示す。