[論文レビュー] Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation

Xiaoxiao Li, Chen Change Loy|arXiv (Cornell University)|Mar 12, 2018

Visual Attention and Saliency Detection参考文献 26被引用数 5

ひとこと要約

本論文では、再識別と注意を考慮した再帰的マスク伝搬を統合的に実行するエンド・ツー・エンドの深層学習フレームワーク、DyeNetを提案する。反復的なテンプレート拡張とドーナツ抑制のための注目メカニズムを用いることで、DAVIS 2017テスト開発セットにおいて68.2のグローバル平均（ジャッカード係数および境界Fスコア）を達成し、以前の手法、包括してコンテスト優勝ソリューションを上回る最先端の性能を実現した。

ABSTRACT

The problem of video object segmentation can become extremely challenging when multiple instances co-exist. While each instance may exhibit large scale and pose variations, the problem is compounded when instances occlude each other causing failures in tracking. In this study, we formulate a deep recurrent network that is capable of segmenting and tracking objects in video simultaneously by their temporal continuity, yet able to re-identify them when they re-appear after a prolonged occlusion. We combine both temporal propagation and re-identification functionalities into a single framework that can be trained end-to-end. In particular, we present a re-identification module with template expansion to retrieve missing objects despite their large appearance changes. In addition, we contribute a new attention-based recurrent mask propagation approach that is robust to distractors not belonging to the target segment. Our approach achieves a new state-of-the-art global mean (Region Jaccard and Boundary F measure) of 68.2 on the challenging DAVIS 2017 benchmark (test-dev set), outperforming the winning solution which achieves a global mean of 66.1 on the same partition.

研究の動機と目的

• 重度のオクルージョンおよび顔貌の大きな変化が生じる状況下での複数の動画オブジェクトのセグメンテーションに挑戦する。
• 長時間のオクルージョンやドーナツ要因に対処できないテンプレートベースのトラッキングおよび時間的伝搬の限界を克服する。
• 再識別とマスク伝搬を統合したエンド・ツー・エンドで学習可能なフレームワークを構築し、精度と耐性を向上させる。
• オブジェクトが再出現した際の大きなポーズおよびスケール変化に対応するため、効果的なテンプレート拡張を可能にする。
• 注目メカニズムを用いて再帰的マスク伝搬中に背景のゴミダミングや誤分類を抑制し、耐性を向上させる。

提案手法

• エンド・ツー・エンド学習を可能にするために、再識別（Re-ID）モジュールと再帰的マスク伝搬（Re-MP）モジュールを統合した統合フレームワーク、DyeNetを提案する。
• Re-IDモジュール内で反復的なテンプレート拡張戦略を実装し、参照テンプレートの集合を動的に拡大することで、長時間のオクルージョン後のオブジェクト回復を向上させる。
• ドーナツ要因（背景のオブジェクトや他のセグメントなど）を抑制しながらマスク伝搬をガイドする注目ベースの再帰的ネットワークをRe-MPモジュールに導入する。
• Re-IDで特定された信頼性の高い開始ポイントから双方向のマスク伝搬を実行し、動画全体をカバーする。
• DAVIS 2017でモデルをエンド・ツー・エンドで学習し、さらなる性能向上のためのオンラインファインチューニングをオプションで利用可能にする。
• Re-IDおよびRe-MPモジュールの両方を支えるために、共有バックボーンネットワークからの特徴マップを活用し、特徴の一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 統合されたディープネットワークは、動画オブジェクトセグメンテーションにおける再識別と再帰的マスク伝搬を同時に最適化できるか？
• RQ2 反復的なテンプレート拡張は、大きなポーズおよびスケール変化下での再識別性能をどのように向上させるか？
• RQ3 再帰的伝搬における注目メカニズムは、ドーナツ要因や背景のゴミダミングに対する耐性をどの程度向上させるか？
• RQ4 提案されたフレームワークは、ドメイン特化のファインチューニングなしで多様なデータセットに一般化可能か？
• RQ5 オンラインファインチューニングを用いたエンド・ツー・エンド学習は、オフライン推論に比べてどの程度性能向上をもたらすか？

主な発見

• DyeNetは、DAVIS 2017テスト開発セットで68.2のグローバル平均を達成し、優勝ソリューションの66.1を上回る新たな最先端性能を実現した。
• オンラインファインチューニングを適用した場合、DyeNetは68.2のグローバル平均を達成したが、オフラインバージョンでも62.5に達し、適応なしでも優れた性能を示した。
• DAVIS 16では、オンラインファインチューニング後、86.2 mIoUを達成し、以前のSOTA手法を上回った。
• SegTrack v2およびYouTubeObjectsでは、オンラインファインチューニング後、それぞれ78.7および79.6 mIoUを達成し、異なるデータセット間での高い汎用性を示した。
• オフラインDyeNetは、1台のTitan Xp GPUで2.4 FPSで動作し、1フレームあたり13秒以上を要する手法と比べて顕著に高速であった。
• YouTubeObjectsにおけるDyeNetのオフライン予測は、多くの正解アノテーションを上回る性能を示しており、高い信頼性と低いアノテーションバイアスの影響を示している。