[論文レビュー] The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos

Runtao Liu, Zhirong Wu+2 more|arXiv (Cornell University)|Nov 11, 2021

Visual Attention and Saliency Detection参考文献 66被引用数 13

ひとこと要約

本稿では、新しいセグメントフロー表現を用いて外観と運動の表現を統合的に学習することで、ラベルなしデータからゼロショット動画オブジェクトセグメンテーションを実現するエンドツーエンドの自己教師ありフレームワークを提案する。セグメントフローを用いてビュー合成誤差を最小化することで、教師なしに動きのあるオブジェクトとその領域を検出するようモデルが学習され、データ拡張なしの対照的学習手法を上回る最先端の性能を達成した。

ABSTRACT

Humans can easily segment moving objects without knowing what they are. That objectness could emerge from continuous visual observations motivates us to model grouping and movement concurrently from unlabeled videos. Our premise is that a video has different views of the same scene related by moving components, and the right region segmentation and region flow would allow mutual view synthesis which can be checked from the data itself without any external supervision. Our model starts with two separate pathways: an appearance pathway that outputs feature-based region segmentation for a single image, and a motion pathway that outputs motion features for a pair of images. It then binds them in a conjoint representation called segment flow that pools flow offsets over each region and provides a gross characterization of moving regions for the entire scene. By training the model to minimize view synthesis errors based on segment flow, our appearance and motion pathways learn region segmentation and flow estimation automatically without building them up from low-level edges or optical flows respectively. Our model demonstrates the surprising emergence of objectness in the appearance pathway, surpassing prior works on zero-shot object segmentation from an image, moving object segmentation from a video with unsupervised test-time adaptation, and semantic image segmentation by supervised fine-tuning. Our work is the first truly end-to-end zero-shot object segmentation from videos. It not only develops generic objectness for segmentation and tracking, but also outperforms prevalent image-based contrastive learning methods without augmentation engineering.

研究の動機と目的

• アノテート済みデータに依存しない、真にエンドツーエンドのゼロショット動画オブジェクトセグメンテーション手法の開発。
• 外観と運動の統合的モデリングによって、ラベルなし動画データから「オブジェクト感」（明確に分離された動きのあるオブジェクトの認識）が出現するかの調査。
• 動画内の時間的整合性を活用することで、動きのあるオブジェクトセグメンテーションの教師なしテスト時適応を可能にする。
• ファインチューニングやデータ拡張なしに、先行手法を上回るゼロショットオブジェクトセグメンテーションおよびセマンティック画像セグメンテーションの性能を達成する。

提案手法

• モデルは2つの別々のパスウェイを用いる：1枚の画像における特徴ベースの領域セグメンテーションを行う外観パスウェイと、画像ペア間の動き特徴を推定する運動パスウェイ。
• セグメントフローと呼ばれる共通表現を導入し、各セグメンテーション領域にわたるオプティカルフローのオフセットを集約することで、シーン内の動き成分を特徴づける。
• セグメントフローを教師信号として用い、同じシーンの異なるビュー間のビュー合成再構成誤差を最小化することで、エンドツーエンドに学習を行う。
• セグメントフローにより、相互のビュー合成が可能となり、外部の教師なし情報なしに、モデルが予測を直接データから検証できる。
• 外観パスウェイと運動パスウェイを同時に最適化することで、領域セグメンテーションとフロー推定の両方の性能を向上させる。
• 低レベルのエッジやオプティカルフローの教師信号に依存せず、再構成誤差を通じてこれらを暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画データにおいて、外観と運動の統合的モデリングによって、教師なしで「オブジェクト感」が出現するか？
• RQ2 データ拡張やファインチューニングなしに、自己教師ありフレームワークが最先端のゼロショットオブジェクトセグメンテーション性能を達成できるか？
• RQ3 セグメントフローを教師信号として用いることで、正確で汎用性の高い領域セグメンテーションと動き推定が可能になるか？
• RQ4 モデルは、動きのあるオブジェクトセグメンテーションにおける教師なしテスト時適応において、どのように性能を発揮するか？
• RQ5 本手法は、データ拡張に依存する対照的学習手法を、ゼロショットセグメンテーションタスクで上回ることができるか？

主な発見

• 本モデルは、ファインチューニングなしに、画像からのゼロショットオブジェクトセグメンテーションで最先端の性能を達成した。
• 教師なしテスト時適応を用いた動画からの動きのあるオブジェクトセグメンテーションにおいて、優れた一般化性能を示した。
• 外観パスウェイは、教師なしでオブジェクトに類似した領域を検出するよう学習しており、動画データからオブジェクト感が出現していることを示している。
• 本手法は、データ拡張に依存する対照的学習手法ですら、そのような工学的処理なしに上回った。
• セグメントフロー表現により、正確な相互ビュー合成が可能となり、モデルの内部整合性と頑健性が裏付けられた。
• 本フレームワークは、ラベルなし動画のみで学習された、真にエンドツーエンドのゼロショットオブジェクトセグメンテーションシステムとして初のものである。