[論文レビュー] MHP-VOS: Multiple Hypotheses Propagation for Video Object Segmentation

Shuangjie Xu, Daizong Liu+3 more|arXiv (Cornell University)|Apr 17, 2019

Video Surveillance and Tracking Methods参考文献 37被引用数 10

ひとこと要約

MHP-VOS は、動きゲート付きの仮説提案と新しいマスク伝搬スコアを用いた時間的トラッキングツリーを構築することで、オブジェクト関連の意思決定を延期する複数の仮説伝搬フレームワークを提案する。これにより、遮蔽やオブジェクトの欠落に対して著しく高い耐性を示し、最適なハイパーパrameterを用いた DAVIS ベンチマークで、DAVIS2016 で 86.9% の平均 JIoU、DAVIS2017 で 69.7% を達成し、最先端の性能を実現した。

ABSTRACT

We address the problem of semi-supervised video object segmentation (VOS), where the masks of objects of interests are given in the first frame of an input video. To deal with challenging cases where objects are occluded or missing, previous work relies on greedy data association strategies that make decisions for each frame individually. In this paper, we propose a novel approach to defer the decision making for a target object in each frame, until a global view can be established with the entire video being taken into consideration. Our approach is in the same spirit as Multiple Hypotheses Tracking (MHT) methods, making several critical adaptations for the VOS problem. We employ the bounding box (bbox) hypothesis for tracking tree formation, and the multiple hypotheses are spawned by propagating the preceding bbox into the detected bbox proposals within a gated region starting from the initial object mask in the first frame. The gated region is determined by a gating scheme which takes into account a more comprehensive motion model rather than the simple Kalman filtering model in traditional MHT. To further design more customized algorithms tailored for VOS, we develop a novel mask propagation score instead of the appearance similarity score that could be brittle due to large deformations. The mask propagation score, together with the motion score, determines the affinity between the hypotheses during tree pruning. Finally, a novel mask merging strategy is employed to handle mask conflicts between objects. Extensive experiments on challenging datasets demonstrate the effectiveness of the proposed method, especially in the case of object missing.

研究の動機と目的

• 遮蔽、大きな変形、オブジェクトの再出現といった状況下で、グリーディなデータ関連付けの限界を克服すること。
• 大きな動きや変形によって外観の類似性が失敗するような困難な状況でも、耐性を高めること。
• 全動画の文脈を考慮した上でオブジェクト関連を遅延させることで、グローバルかつ長期的な意思決定を可能にすること。
• 複数オブジェクト設定におけるオブジェクトの競合を、新しいマスクマージ戦略により処理すること。

提案手法

• クラスに依存しないオブジェクト提案を動きゲート付き領域内で伝搬させることで、トラッキングツリーを構築し、従来のカルマンフィルタリングに代わるより包括的な運動モデルを採用する。
• フレーム間でのマスクの一貫性に基づく新しいマスク伝搬スコアを導入し、変形によって劣化する脆弱な外観類似度スコアを置き換える。
• 動きに基づいて動的に定義された領域に候補提案を制限するゲーティング機構を採用し、仮説の関連性を向上させる。
• 運動とマスク伝搬スコアを組み合わせた重み付き類縁スコアを用いてツリーの刈り込みを制御し、グリッドサーチによりハイパーパrameterを最適化する。
• 最終的な仮説選択を遅らせるために N-スキャン刈り込みを適用し、性能と推論速度のバランスを取る。
• 重なっているオブジェクト間の競合を解消するために、曖昧な重複領域でのアイデンティティ分類を可能にするマスクマージ戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や変形の下で、オブジェクト関連の意思決定を遅らせることが、半教師付き動的オブジェクトセグメンテーションの精度向上に寄与するか？
• RQ2 動きゲート付きの仮説ツリーは、カルマンフィルタリングと比較して、フレーム間でのトラッキングの一貫性をどのように維持するか？
• RQ3 空間的一致性に基づくマスク伝搬スコアは、大きな変形に対処する際、外観類似度を上回る性能を示せるか？
• RQ4 提案されたマスクマージ戦略は、重なっているオブジェクト間の競合を効果的に解消できるか？
• RQ5 リアルタイムアプリケーションにおいて、意思決定の遅延（N-スキャン刈り込み）と推論速度のトレードオフはどのようになるか？

主な発見

• DAVIS2016 の検証セットでは、MHP-VOS が 86.9% の平均 JIoU を達成し、前回の SOTA である OSVOS-S よりもグローバル平均で 0.3% 高かった。
• DAVIS2017 では、N=5 の条件下で 69.7% の平均 JIoU を達成し、意思決定の遅延により顕著な性能向上を示した。
• MSK という強力なベースラインよりもグローバル平均で 9.3% の向上を示し、困難なシーケンスに対する耐性の高さを裏付けた。
• 最適なハイパーパrameterは wm=0.3 と wn=-0.4 であり、N=3 が速度と精度のバランスにおいて最良の結果を示した。
• 「deer」と「tennis-vest」のシーケンスにおける定性的な分析から、外観類似度による失敗事例がマスク伝搬スコアによって著しく減少した。
• 提案されたマスクマージ戦略は、重なっている領域におけるアイデンティティの混乱を効果的に解消し、曖昧なケースでの誤分類を低減した。