[論文レビュー] Self-supervised Video Object Segmentation

Fangrui Zhu, Li Zhang+3 more|arXiv (Cornell University)|Jun 22, 2020

Video Surveillance and Tracking Methods参考文献 26被引用数 8

ひとこと要約

本論文は、新しいメモリ機構を用いて長期間にわたる対応関係の一致を向上させるとともに、推論時にオンライン適応を導入することでトラッカーのずれを軽減する自己教師付き動画オブジェクトセグメンテーション手法を提案する。100本の生動画クリップ（11分間）のみを用いてDAVIS-2017およびYouTube-VOSで最先端の性能を達成し、何百万ものアノテーションを用いて訓練された多くの教師あり手法を上回る性能を示した。

ABSTRACT

The objective of this paper is self-supervised representation learning, with the goal of solving semi-supervised video object segmentation (a.k.a. dense tracking). We make the following contributions: (i) we propose to improve the existing self-supervised approach, with a simple, yet more effective memory mechanism for long-term correspondence matching, which resolves the challenge caused by the dis-appearance and reappearance of objects; (ii) by augmenting the self-supervised approach with an online adaptation module, our method successfully alleviates tracker drifts caused by spatial-temporal discontinuity, e.g. occlusions or dis-occlusions, fast motions; (iii) we explore the efficiency of self-supervised representation learning for dense tracking, surprisingly, we show that a powerful tracking model can be trained with as few as 100 raw video clips (equivalent to a duration of 11mins), indicating that low-level statistics have already been effective for tracking tasks; (iv) we demonstrate state-of-the-art results among the self-supervised approaches on DAVIS-2017 and YouTube-VOS, as well as surpassing most of methods trained with millions of manual segmentation annotations, further bridging the gap between self-supervised and supervised learning. Codes are released to foster any further research (https://github.com/fangruizhu/self_sup_semiVOS).

研究の動機と目的

• オクルージョン、高速運動、オブジェクトの再出現に起因する自己教師付き動画オブジェクトセグメンテーションにおけるトラッカーのずれを解消すること。
• 特徴の伝搬に効果的なメモリ機構を導入することで、長期間にわたる対応関係の一致を向上させること。
• 教師ありアノテーションへの依存度を低減し、自己教師付き表現学習の効率性を示すこと。
• 自己教師付き手法と完全教師あり手法の間の性能格差を埋めることを目的とした、密な動画オブジェクトトラッキング分野における性能向上。

提案手法

• ペアワイズの対応関係一致を長期間の時間的文脈に拡張するメモリ機構を提案し、オブジェクトの消失や再出現に対する耐性を向上させた。
• 推論中に、不完全な予測に基づいて訓練されたランダム初期化された外観モデルを用いて、マスクの伝搬を精緻化するオンライン適応モジュールを導入した。
• 深層ネットワークがノイズよりもデータの正規性を速く学習するという誘導的バイアスを活用し、誤ったマスク伝搬への過剰適合を低減した。
• 自己教師付き対照学習を用いて、100本の生動画クリップ（11分間）または100枚の静止画のみで強力なトラッキングモデルを訓練した。
• 光度誤差を最小化し、フレーム間でサイクル整合性を最大化するため、特徴一致損失を用いたシアンジアスのようなネットワークを採用した。
• 複数の参照フレームからの特徴を格納・取得するメモリバンクを用い、頑健な長距離対応関係一致を実現した。

実験結果

リサーチクエスチョン

• RQ1 教師ありマスクアノテーションを一切用いずに、自己教師付き手法が動画オブジェクトセグメンテーションで最先端の性能を達成できるか？
• RQ2 メモリ機構は、オブジェクトトラッキングにおける長期間対応関係一致の向上にどの程度効果的か？
• RQ3 推論時のオンライン適応は、オクルージョンや高速運動に起因するトラッカーのずれを軽減できるか？
• RQ4 自己教師付き学習はどの程度効率的か？最小限のデータで競争力のある性能を達成できるか？
• RQ5 意味的理解は、密な動画オブジェクトトラッキングにおいて重要な役割を果たすのか、それとも低レベルの統計情報で十分か？

主な発見

• 提案手法は、DAVIS-2017でJ&Fスコア70.7、YouTube-VOSで67.3を達成し、すべての先行自己教師付き手法を上回った。
• 両ベンチマークで、何百万ものアノテート済みフレームを用いて訓練された多くの完全教師ありモデルをも凌駕した。
• 未学習カテゴリに対しても良好な一般化性能を示し、YouTube-VOSの未学習カテゴリで67.9のJ&Fスコアを達成し、性能の低下がなかった。
• 100本の生動画クリップ（11分間）での学習でも、はるかに大きなデータセットで訓練されたモデルと同等の性能を達成した。
• オンライン適応モジュールは、特にオクルージョンや運動の不連続性に起因するトラッカーのずれを顕著に低減した。
• メモリ機構により、消失後に再出現するオブジェクトに対しても頑健な長期間対応関係一致が可能となり、問題の解決が図られた。