[論文レビュー] Unmasking the Inductive Biases of Unsupervised Object Representations for Video Sequences

Marissa A. Weis, Kashyap Chitta+5 more|arXiv (Cornell University)|Jun 12, 2020

Video Surveillance and Tracking Methods参考文献 29被引用数 14

ひとこと要約

本論文は、検出、セグメンテーション、トラッキングなどのコアな知覚的能力を評価するための合成動画ベンチマークを導入する。MONet-Video（MONetの動画版）、OP3、TBAを比較し、制約のない潜在表現とフル画像マスクを用いるモデルが、空間変換器に基づくTBAよりもオブジェクト中心のタスクで優れた性能を示すが、複雑なトラッキングシナリオではすべてのモデルが困難を抱えることを明らかにした。

ABSTRACT

Perceiving the world in terms of objects is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models have been evaluated with respect to different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of individual objects. In this paper, we argue that the established evaluation protocol of multi-object tracking tests precisely these perceptual qualities and we propose a new benchmark dataset based on procedurally generated video sequences. Using this benchmark, we compare the perceptual abilities of three state-of-the-art unsupervised object-centric learning approaches. Towards this goal, we propose a video-extension of MONet, a seminal object-centric model for static scenes, and compare it to two recent video models: OP3, which exploits clustering via spatial mixture models, and TBA, which uses an explicit factorization via spatial transformers. Our results indicate that architectures which employ unconstrained latent representations based on per-object variational autoencoders and full-image object masks are able to learn more powerful representations in terms of object detection, segmentation and tracking than the explicitly parameterized spatial transformer based architecture. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios, suggesting that our synthetic video benchmark may provide fruitful guidance towards learning more robust object-centric video representations.

研究の動機と目的

• 教師ありタスクの性能を超えた、教師なしオブジェクト中心の動画表現モデルの知覚的能力を評価すること。
• 検出、背景・前景セグメンテーション、トラッキングといった基本的なオブジェクトレベルの能力に対する標準化された評価の欠如を是正すること。
• オブジェクト中心の動画モデルの公平な比較を可能にするために、手続き的に生成された動画シーケンスに基づく新しいベンチマークを提案すること。
• 特に空間変換器による明示的因子分解が、強固なオブジェクト表現の学習に与える影響を調査すること。
• 特に困難なトラッキングシナリオにおける現在のモデルの限界を同定すること。

提案手法

• 多様なオブジェクトダイナミクスと相互作用をシミュレートするため、手続き的に生成された動画シーケンスを用いた新しいベンチマークデータセットを開発した。
• 静止画専用に設計されたMONetを、共有オブジェクトスロットを用いて時系列処理に対応するように拡張し、MONet-Videoを構築した。
• 空間混合モデルとクラスタリングを用いて動画におけるオブジェクトスロットを推論するOP3を適応し、動的オブジェクト発見を可能にした。
• 空間変換器を用いて特徴をオブジェクト固有の表現に明示的に因子分解するTBAを統合した。
• 検出、セグメンテーション、トラッキング性能を含む知覚的能力の代理として、マルチオブジェクトトラッキングを用いて、すべてのモデルを同じベンチマークで評価した。
• 検出精度、セグメンテーション品質、トラッキング安定性の各指標を統一した評価プロトコルでモデルの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 最先端の教師なしオブジェクト中心の動画モデルは、オブジェクト検出や背景・前景セグメンテーションといった基本的知覚的能力において、どのように比較されるか？
• RQ2 特に空間変換器による明示的因子分解が、学習されたオブジェクト表現の質にどの程度影響を与えるか？
• RQ3 マルチオブジェクトトラッキングは、オブジェクト中心の動画表現学習におけるコアな知覚的能力を評価する信頼できる代理指標とみなせるか？
• RQ4 オクルージョン、オブジェクトの合体、複雑な運動を伴う困難なトラッキングシナリオでは、モデルはどのように性能を発揮するか？
• RQ5 制約のない潜在表現とフル画像マスクは、オブジェクト中心の動画表現学習の向上にどのような役割を果たすか？

主な発見

• 制約のない潜在表現とフル画像オブジェクトマスクを用いるモデル、特にMONet-VideoとOP3は、TBAよりもオブジェクト検出およびセグメンテーションにおいて優れた性能を示した。
• 空間変換器に基づくTBAモデルは、明示的な因子分解を実装しているにもかかわらず、特に複雑なシーンにおいてオブジェクトの検出やセグメンテーションで劣った性能を示した。
• すべてのモデルが、オクルージョンやオブジェクトの合体を伴う困難な条件下でも長期的なトラッキングに失敗しており、耐性の欠如が明らかになった。
• 提案された合成動画ベンチマークは、知覚的能力の差を効果的に露呈し、現在の教師なし動画表現学習手法の限界を明らかにした。
• 結果から、制約のない潜在空間モデリングの方が、動画における汎用的なオブジェクト中心表現の学習には、明示的な空間因子分解よりも効果的である可能性が示唆された。
• ベンチマークは、将来的な研究がより強固で知覚的に正確な教師なし動画オブジェクト学習へと進むための貴重なツールを提供する。