[論文レビュー] Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals

Gao Zhu, Fatih Porikli+1 more|arXiv (Cornell University)|May 6, 2016

Video Surveillance and Tracking Methods参考文献 39被引用数 38

ひとこと要約

本論文では、局所的探索ウィンドウをインスタンス固有のエッジベースのプロポーザル生成に置き換えることで、画像全体にわたる効率的で高精度なトラッキングを可能にするグローバルオブジェクトトラッキング手法を提案する。オブジェクトモデルに基づく学習された再ランク付けにより、高速移動や遮蔽状態のオブジェクトに対しても耐性を高め、OTB、TB50、VOT2014、ALOV300ベンチマークで最先端の性能を達成した。

ABSTRACT

Most tracking-by-detection methods employ a local search window around the predicted object location in the current frame assuming the previous location is accurate, the trajectory is smooth, and the computational capacity permits a search radius that can accommodate the maximum speed yet small enough to reduce mismatches. These, however, may not be valid always, in particular for fast and irregularly moving objects. Here, we present an object tracker that is not limited to a local search window and has ability to probe efficiently the entire frame. Our method generates a small number of "high-quality" proposals by a novel instance-specific objectness measure and evaluates them against the object model that can be adopted from an existing tracking-by-detection approach as a core tracker. During the tracking process, we update the object model concentrating on hard false-positives supplied by the proposals, which help suppressing distractors caused by difficult background clutters, and learn how to re-rank proposals according to the object model. Since we reduce significantly the number of hypotheses the core tracker evaluates, we can use richer object descriptors and stronger detector. Our method outperforms most recent state-of-the-art trackers on popular tracking benchmarks, and provides improved robustness for fast moving objects as well as for ultra low-frame-rate videos.

研究の動機と目的

• 特に高速または不規則に動くオブジェクトに対して、検出に基づくトラッキング手法における局所的探索ウィンドウの限界を解消すること。
• 局所領域を超えて探索を拡大する際の背景のごみや誤検出の問題を克服すること。
• 計算効率やトラッキング精度を損なわずに、画像全体にわたるグローバル探索を可能にすること。
• 高品質なプロポーザルから得られるハードネガティブ例を統合することでモデル更新を改善し、ドリフトを低減すること。
• トラッキング対象に適応するインスタンス固有のオブジェクトネス測度を構築し、汎用的プロポーザル手法を上回る性能を実現すること。

提案手法

• 特定のトラッキング対象に特化したエッジ特徴（EdgeBox）を用いて、少量の高品質なオブジェクトプロポーザルを生成する。
• 線形SVMを用いたオンライン学習により、汎用的なエッジベースのオブジェクトネス測度をトラッキング対象に適応させ、プロポーザルの再ランク付けを行う。
• オブジェクトモデル（例：NCC や SSVM）を用いてプロポーザルを評価・再ランク付けし、特にハードな偽陽性を効果的に識別・排除する。
• 前回の位置周辺のローカルな候補と、グローバルなエッジベース領域からのプロポーザルを組み合わせることで、モデル更新の耐性を高める。
• 動きの滑らかさ制約をプロポーザルスコアに統合し、時間的整合性を維持するとともにジターリダムを低減する。
• プロポーザル生成をコアトラッキングと分離することで、任意の既存のトラッキング・バイ・検出フレームワークへの柔軟な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的探索と比較して、グローバルプロポーザル生成は、高速移動や遮蔽状態のオブジェクトに対して、トラッキング精度と耐性を向上させることができるか？
• RQ2 オブジェクトモデルに基づくインスタンス固有のプロポーザル再ランク付けは、汎用的オブジェクトネススコアと比較して、偽陽性をどれほど効果的に低減できるか？
• RQ3 モデル更新および推論において、グローバルプロポーザルとローカル探索の最適なバランスは何か？
• RQ4 極めて低フレームレートまたは困難な視覚的条件下でも、本手法は高い性能を維持できるか？
• RQ5 プロポーザルの数が、トラッキング性能と計算コストに与える影響は何か？

主な発見

• 提案手法はVOT2014ベンチマークで最高の性能を達成し、すべての最先端手法の中でもトップのトラッカーとなった。
• OTBデータセットでは、高速移動（FM）カテゴリでAUCが58.1、精度スコアが77.8を達成し、KCF、MEEM、Struckを上回った。
• TB50ベンチマークでは、成功率（AUC）が49.6％を記録し、KCF（40.2％）や他の最先端手法を上回った。最良のバリアントは200個のプロポーザルを用いた。
• 動きぼけ（MB）および動くカメラ（MC）のシーケンスにおいて顕著な性能向上を示し、ALOV300でMBシーケンスではAUC 54.9％、精度78.5％、MCシーケンスではAUC 60.9％、精度68.4％を達成した。
• EdgeBoxの代わりにBINGをプロポーザルに用いた場合、性能は悪化し（TB50でAUC 33.7％）、本手法のエッジベースでインスタンス固有のプロポーザル手法の優位性を裏付けた。
• グローバル探索を実施しても、1フレームあたりのプロポーザル生成時間が100ms未満に抑えられ、最先端のトラッカーと同等の計算速度を維持しており、リアルタイム性能を達成した。