[論文レビュー] Self-supervised Amodal Video Object Segmentation

Jian Yao, Yuxin Hong+7 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、可視領域のオブジェクト部分を用いて、オクルージョン領域を説明するための空間的・時間的事前知識を活用することで、明示的なアモダールアノテーションを必要とせずに完全な（アモダール）オブジェクトマスクを推定する自己教師付き動画オブジェクトセグメンテーションフレームワーク、SaVosを提案する。この手法は、合成データ（FISHBOWL）および現実世界データ（KINS-Video-Car）のベンチマークで最先端の性能を達成し、テスト時適応を用いて優れた汎化性能を示しており、ターゲットドメインデータで微調整されたモデルを上回る性能を発揮する。

ABSTRACT

Amodal perception requires inferring the full shape of an object that is partially occluded. This task is particularly challenging on two levels: (1) it requires more information than what is contained in the instant retina or imaging sensor, (2) it is difficult to obtain enough well-annotated amodal labels for supervision. To this end, this paper develops a new framework of Self-supervised amodal Video object segmentation (SaVos). Our method efficiently leverages the visual information of video temporal sequences to infer the amodal mask of objects. The key intuition is that the occluded part of an object can be explained away if that part is visible in other frames, possibly deformed as long as the deformation can be reasonably learned. Accordingly, we derive a novel self-supervised learning paradigm that efficiently utilizes the visible object parts as the supervision to guide the training on videos. In addition to learning type prior to complete masks for known types, SaVos also learns the spatiotemporal prior, which is also useful for the amodal task and could generalize to unseen types. The proposed framework achieves the state-of-the-art performance on the synthetic amodal segmentation benchmark FISHBOWL and the real world benchmark KINS-Video-Car. Further, it lends itself well to being transferred to novel distributions using test-time adaptation, outperforming existing models even after the transfer to a new distribution.

研究の動機と目的

• 高価なアモダールアノテーションに依存せずに、アモダール動画オブジェクトセグメンテーションの課題に対処すること。
• 時間的連続な動画シーケンスを活用し、他のフレームからの可視部分を自己教師信号として用いて、オクルージョンされたオブジェクト部分を推定すること。
• 空間的・時間的事前知識とテスト時適応を用いることで、未学習のオブジェクトタイプや分布シフトに対して汎化性能を向上させること。
• テスト時適応に inherently 適したモデルを構築し、再訓練なしに新しい分布に対して性能向上を実現すること。

提案手法

• フレーム間におけるアモダールオブジェクトの動きを高密度に学習することで、可視領域とオクルージョン領域を接続し、時間的整合性を教師信号として用いる。
• アモダールマスクとそのマスク上の高密度な動きを同時に予測することで、明示的なピクセル対応を避けて、空間的・時間的構造を活用する。
• ゲシュタルト心理学の「共通運命の法則」に由来するインダクティブバイアスを新規に組み込み、オクルージョン領域における動きとマスク予測の性能を向上させる。
• 自己教師信号は他のフレームの可視マスクから得られ、過学習を避けるために、予測が侵入的になるのを防ぐために可視領域のみを最適化する代替損失関数を用いる。
• 自己教師損失を変更せずにテスト時適応を適用し、過剰な完成（over-completion）を防ぎ、汎化性能を維持するために早期停止を用いる。
• 本手法は空間的・時間的事前知識に加え、暗黙のタイプ事前知識も学習するが、適応段階でそのタイプ事前知識を抑制することで、未学習カテゴリに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 他の動画フレームにおける可視オブジェクト部分を、明示的なアモダールアノテーションを一切用いずに、自己教師的マスク予測に効果的に活用できるか？
• RQ2 タイプベースの事前知識を越えて、空間的・時間的事前知識をどのように活用することで、アモダールセグメンテーションの性能を向上させられるか？
• RQ3 提案された自己教師付きフレームワークは、画像レベルのベースラインと比較して、未学習のオブジェクトタイプや分布シフトに対してより優れた汎化性能を示すか？
• RQ4 なぜテスト時適応は、他の自己教師付き手法と比較して、SaVosに対して特に効果的なのか？

主な発見

• SaVosは、自己教師付き設定下で合成データのFISHBOWLベンチマークおよび現実世界データのKINS-Video-Carデータセットで最先端の性能を達成した。
• KINS-Video-Carでは、合成の魚のデータで学習したSaVosが、現実世界のドライブカー用データセットで微調整したモデルよりも、テスト時適応後に優れた性能を示した。
• テスト時適応により汎化性能が顕著に向上し、Self-Deocclusionのような画像レベルベースラインと比較して、SaVosはより大きな性能向上を達成した。
• モデルはタイプ事前知識を暗黙的に学習するが、テスト時適応段階で早期停止を適用することで、未学習タイプに対する過剰な完成や侵入的予測を抑制できた。
• 自己教師損失の設計により、テスト時適応が効率的に行える。訓練信号がアモダール動きモデリングによって、テスト動画のオクルージョン領域と直接的に整合するからである。
• 実験的結果から、SaVosは代替の自己教師付き手法よりも適応に適しており、分布シフトへの汎化に適した損失設計であることが示された。