[論文レビュー] Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation

Qiang Zhou, Zilong Huang+6 more|arXiv (Cornell University)|Jul 2, 2019

Video Surveillance and Tracking Methods参考文献 39被引用数 4

ひとこと要約

PTSNetは、オブジェクトプロポーザル、トラッキング、ダイナミックリファレンスセグメンテーションネットワークからなる段階的（カスケード）な動画オブジェクトセグメンテーションフレームワークを提案する。オブジェクトネスを活用した効率的な局所化、スケール適合を伴うオンライントラッキング、および履歴予測からのダイナミックリファレンス学習により、DAVIS’17およびYouTube-VOSで最先端の性能を達成し、完全なトレーニングおよび推論パイプラインで71.6%のJIoUを達成した。

ABSTRACT

Video object segmentation (VOS) aims at pixel-level object tracking given only the annotations in the first frame. Due to the large visual variations of objects in video and the lack of training samples, it remains a difficult task despite the upsurging development of deep learning. Toward solving the VOS problem, we bring in several new insights by the proposed unified framework consisting of object proposal, tracking and segmentation components. The object proposal network transfers objectness information as generic knowledge into VOS; the tracking network identifies the target object from the proposals; and the segmentation network is performed based on the tracking results with a novel dynamic-reference based model adaptation scheme. Extensive experiments have been conducted on the DAVIS'17 dataset and the YouTube-VOS dataset, our method achieves the state-of-the-art performance on several video object segmentation benchmarks. We make the code publicly available at https://github.com/sydney0zq/PTSNet.

研究の動機と目的

• 大きな視覚的変化と限られたトレーニングデータ下での半教師あり動画オブジェクトセグメンテーションの課題に対処すること。
• オブジェクトネスに配慮したプロポーザル生成を導入することで、局所化の精度を向上させ、探索空間を縮小すること。
• 履歴予測を仮の正例として使用するダイナミックリファレンス学習により、セグメンテーションのロバスト性を向上させること。
• モジュラーで段階的なアーキテクチャにより、局所化とセグメンテーションのタスクを分離し、より良い特徴学習を実現すること。
• 完全なファインチューニングを伴わずにオンラインモデル適応を可能にし、外見の変化に対して一般化性能を向上させること。

提案手法

• オブジェクトプロポーザルネットワーク（OPN）は、クラスに依存しない高オブジェクトネス領域を生成し、トラッキングのための探索空間を縮小する。
• オブジェクトトラッキングネットワーク（OTN）は、プロポーザルのスコアリングによりターゲットオブジェクトを特定し、スケールおよび外見の変化にオンラインで適応する。
• ダイナミックリファレンスセグメンテーションネットワーク（DRSN）は、最初のフレームのアノテーションと複数の過去のセグメンテーションマスクを動的リファレンスとして用い、現在のフレームの予測をガイドする。
• DRSNは、高信頼度の履歴予測を仮のアノテーションとして使用してセグメンテーションネットワークを更新する、新しいモデル適応スキームを採用する。
• フレームワークはエンド・ツー・エンドでトレーニング可能であり、因果的（causal）であるため、将来のフレームに依存せず、リアルタイム推論が可能である。
• さらに、長時間の遮蔽や外見のシフトに特に効果的であるため、オンラインファインチューニングを適用して性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトネスに配慮したプロポーザル生成は、動画オブジェクトセグメンテーションにおける局所化の効率性と精度を顕著に向上させるか？
• RQ2 履歴予測からのダイナミックリファレンス学習は、静的リファレンスやオンラインファインチューニングと比較して、セグメンテーション性能にどのように影響するか？
• RQ3 プロポーザル、トラッキング、セグメンテーションを分離する段階的アーキテクチャは、外見や運動の変化に対してロバスト性を向上させるか？
• RQ4 DAVISをトラッキングベンチマークとして見た場合、オブジェクトネス情報はトラッキング性能をどの程度向上させるか？
• RQ5 動的リファレンスによるオンラインモデル適応の統合は、長期的なトラッキング安定性にどの程度影響を与えるか？

主な発見

• PTSNetは、DAVIS’17のバリデーションセットで71.6%のJIoUを達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、静的リファレンス（RGMP）のみと比較して、動的リファレンスを追加することで性能が5.1%向上した。
• オブジェクトプロポーザルネットワーク（OPN）の導入により、ガウスサンプリングベースラインと比較して2.2%の性能向上が得られ、オブジェクトネスの局所化における価値が示された。
• OPN、OTN、DRSNに動的リファレンスを組み合わせた場合、ベースラインのRGMPと比較して66.1%のJIoUを達成し、7.3%の向上を示した。
• 6つのリファレンスフレーム（N-2、N-4、N-6を含む）を使用した場合、Titan V上で精度（66.1%）と推論速度（1フレームあたり56.15ms）の最適なバランスが得られた。
• トラッキングデータセットとして評価した場合、OPNの導入によりAUCが52.1%（ガウスサンプリング）から77.8%に向上し、オブジェクトネスがトラッキングの信頼性を向上させることを実証した。