[論文レビュー] Prediction-Tracking-Segmentation

Jianren Wang, Yihui He+3 more|ArXiv.org|Apr 5, 2019

Video Surveillance and Tracking Methods参考文献 72被引用数 10

ひとこと要約

本論文は、運動予測と適応的探索領域を統合することで、視覚追跡と動画オブジェクトセグメンテーションを向上させる統合フレームワーク「予測-追跡-セグメンテーション（PTS）」を提案する。カルマンフィルタを用いたオブジェクト位置の予測と、局所的かつ速度に配慮した探索領域による追跡の最適化により、VOT 2016、VOT 2018、DAVIS 2016、DAVIS 2017で最先端の性能を達成し、遮蔽、不要な干渉要因、カメラの動きに対して顕著に高い耐性を示す。

ABSTRACT

We introduce a prediction driven method for visual tracking and segmentation in videos. Instead of solely relying on matching with appearance cues for tracking, we build a predictive model which guides finding more accurate tracking regions efficiently. With the proposed prediction mechanism, we improve the model robustness against distractions and occlusions during tracking. We demonstrate significant improvements over state-of-the-art methods not only on visual tracking tasks (VOT 2016 and VOT 2018) but also on video segmentation datasets (DAVIS 2016 and DAVIS 2017).

研究の動機と目的

• 外見のみに依存する追跡手法が干渉要因、遮蔽、カメラの動きに対処する際の限界を是正すること。
• 人間の視覚認知にインspiredされた予測モデリングを組み込むことで、追跡およびセグメンテーションの精度を向上させること。
• 予測された運動に基づく適応的かつ局所的な探索領域に焦点を当てることで、計算負荷を低減すること。
• 予測、追跡、セグメンテーションを統合した1つのエンドツーエンドフレームワークとして統合し、動画理解を向上させること。
• 高運動および複雑な背景を伴う動画シナリオにおいて、運動予測と適応的探索領域の有効性を実証すること。

提案手法

• カメラの動きとオブジェクトの動きを分離するため、カルマンフィルタに基づく予測モジュールを用いて、将来のオブジェクト位置を推定する。
• 予測されたオブジェクト速度とサイズに応じて、サイズと位置を動的に調整する適応的探索領域を適用し、探索空間を縮小する。
• シアン・ネットワークベースのトラッカー（SiamMask）に対して、予測された領域を事前知識として統合し、局所化精度を向上させる。
• 次のフレームにおける外見特徴を予測に基づいてガイドすることで、追跡およびセグメンテーションの結果を精緻化する。
• 精緻化された追跡出力を用いて予測モデルを反復的に更新することで、時間的整合性を確保する。
• 2段階の推論を採用：まずオブジェクト位置を予測し、次に局所的特徴を用いて検出およびセグメンテーションを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 運動予測は、遮蔽および干渉要因の条件下でも追跡の耐性を向上させ得るか？
• RQ2 予測された運動に基づく適応的探索領域は、追跡およびセグメンテーションの精度をどのように向上させるか？
• RQ3 追跡に予測を統合することで、VOT や DAVIS のような標準ベンチマークで性能がどの程度向上するか？
• RQ4 予測、追跡、セグメンテーションを統合したフレームワークは、動画理解タスクにおいて専用モデルを上回る性能を発揮できるか？
• RQ5 本手法は、外見のみに依存するベースラインと比較して、高速移動オブジェクトおよびカメラの動きをどのように処理するか？

主な発見

• VOT 2018ではEAOスコアが0.397を達成し、SiamMask（0.380）を上回り、耐性および精度の向上を示した。
• DAVIS 2016では、ジャコーデ指数（J）をSiamMaskの0.713から0.732に、Fスコアを0.674から0.692に向上させた。
• DAVIS 2017では、Jを0.543から0.554に、Fを0.585から0.604に向上させ、セグメンテーション品質の継続的向上を示した。
• アブレーションスタディでは、予測モジュールがEAOスコアの向上に最も寄与している（ベースラインの0.380と比較して0.394）ことが確認され、追跡モジュールはわずかな向上にとどまった。
• 定性的な結果では、PTSは高速移動（例：Bolt）やカメラの振動（例：車のシーン）時においても追跡精度を維持し、IDの入れ替えや干渉を回避した。
• PTSはより完全で正確なセグメンテーションマスクを生成し、SiamMaskが失敗する場面（例：犬の尾の正しく捕捉、人物と soapsuds の分離）においても優れた性能を示した。