[論文レビュー] Segmenting Moving Objects via an Object-Centric Layered Representation

Junyu Xie, Weidi Xie+1 more|arXiv (Cornell University)|Jul 5, 2022

Video Surveillance and Tracking Methods被引用数 13

ひとこと要約

本稿では、光流しのみを入力として用いることで、複数の動く物体をセグメンテーションおよび追跡するオブジェクト中心のレイヤー化表現（OCLR）モデルを提案する。変換器ベースのアーキテクチャは、モーダルマスクと奥行き順序付きレイヤーを予測し、遮蔽下でも頑健な性能を発揮する。合成データのみで訓練された本モデルは、DAVIS、MoCA、SegTrack、FBMS-59で最先端の結果を達成しており、自己教師付き特徴を用いたテスト時適応によりさらなる性能向上を達成している。

ABSTRACT

The objective of this paper is a model that is able to discover, track and segment multiple moving objects in a video. We make four contributions: First, we introduce an object-centric segmentation model with a depth-ordered layer representation. This is implemented using a variant of the transformer architecture that ingests optical flow, where each query vector specifies an object and its layer for the entire video. The model can effectively discover multiple moving objects and handle mutual occlusions; Second, we introduce a scalable pipeline for generating multi-object synthetic training data via layer compositions, that is used to train the proposed model, significantly reducing the requirements for labour-intensive annotations, and supporting Sim2Real generalisation; Third, we conduct thorough ablation studies, showing that the model is able to learn object permanence and temporal shape consistency, and is able to predict amodal segmentation masks; Fourth, we evaluate our model, trained only on synthetic data, on standard video segmentation benchmarks, DAVIS, MoCA, SegTrack, FBMS-59, and achieve state-of-the-art performance among existing methods that do not rely on any manual annotations. With test-time adaptation, we observe further performance boosts.

研究の動機と目的

• 複数の動くオブジェクトを発見・追跡・セグメンテーションするモデルを開発すること。特に、相互遮蔽下でも有効であることを目的とする。
• 外観の特徴や手動アノテーションに依存せずに、オブジェクト恒常性と時間的形状の一貫性を実現すること。
• コストの高い人手によるアノテーションデータに依存しないように、スケーラブルな合成データセットにのみ学習することにより、依存度を低減すること。
• 光流しのみを入力として用いることで、ドメインシフトの問題を回避し、強力なSim2Real一般化を達成すること。
• 奥行き順序付きレイヤー化を通じて、光流しのみからモーダルマスク予測を効果的に学習できることを示すこと。

提案手法

• OCLRモデルは、オブジェクトごとの完全（アモーダル）形状と奥行き順序付きレイヤーを予測するための学習可能クエリを有する変換器ベースのアーキテクチャを採用する。
• 各クエリベクトルは、オブジェクトの完全な（アモーダル）形状とその奥行き順序付きレイヤーを符号化し、遮蔽下でも一貫した表現を可能にする。
• 本モデルは、変形するオブジェクト、動くカメラ、非静的背景のレイヤー合成により生成された合成データセットで訓練される。
• 奥行き順序付きレイヤー化機構により、アモーダル予測からモーダル（可視）マスクを再構築し、遮蔽の手がかりを用いて奥行き順序を推定する。
• テスト時適応では、自己教師付きDINOモデルからの外観特徴を統合することで、実データにおける性能をさらに向上させる。
• 本モデルは光流しの不連続性を活用してオブジェクト境界を検出し、部分的遮蔽下でも時間的一致性を学習する。

実験結果

リサーチクエスチョン

• RQ1 合成光流しデータのみで学習されたモデルは、アモーダルマスクを用いて複数の動くオブジェクトを発見・セグメンテーションできるか？
• RQ2 このようなモデルは、部分的および相互遮蔽下でもオブジェクト恒常性と時間的形状の一貫性を維持できるか？
• RQ3 微調整なしで、光流しのみのアプローチが実世界の動画セグメンテーションベンチマークに効果的に一般化できるか？
• RQ4 自己教師付き外観特徴を用いたテスト時適応が、実データにおける性能をどの程度向上させるか？
• RQ5 レイヤー化されたオブジェクト中心の表現は、光流し内の遮蔽パターンから奥行き順序を推定できるか？

主な発見

• OCLRモデルは、合成データでのみ学習された場合でも、DAVIS、MoCA、SegTrack、FBMS-59ベンチマークで最先端の性能を達成し、それぞれDAVIS、MoCA、SegTrackv2でmIoUスコア55.1、54.5、55.7を達成した。
• DINO特徴を用いたテスト時適応を施した場合、DAVISでmIoU 64.4、MoCAで65.2、SegTrackv2で63.6を達成し、多数の教師あり手法を上回った。
• 本モデルは、オブジェクトが長時間遮蔽されても、アモーダルマスクの一貫性を維持する能力を効果的に学習した。
• 本モデルは、光流し内の遮蔽パターンから正確な奥行き順序を推定し、モーダルマスクの正しいレイヤー合成を可能にした。
• 合成データ生成パイプラインは、複数の変形するオブジェクト、重複する運動、カメラの動きといった実世界の変動を効果的にカバーした。
• 本モデルは合成データから実データへの一般化が強く、光流しを唯一の入力モalityとして用いることで、Sim2Realギャップが最小限に抑えられた。