[論文レビュー] Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating

Yi Dai, Bin Liu|arXiv (Cornell University)|Sep 28, 2015

Video Surveillance and Tracking Methods参考文献 7被引用数 4

ひとこと要約

本稿では、照度変化、ごみの多い背景、物体の変形が生じる複雑な状況でも顕著に優れた性能を示す、色とテクスチャ特徴の尤度に基づく特徴融合とスケール変化・遮蔽を扱うための適応的テンプレート更新を組み合わせた、パーティクルフィルタを用いた頑健な動画オブジェクト追跡手法を提案する。本手法は、背景モデリングに適応的ガウス・ミックスチャネル・モデルを統合し、オンライン特徴重み付けを実装しており、照明変化や背景の複雑さ、物体の変形が生じる状況下でも、既存のPFベースのトラッカーを著しく上回る性能を発揮する。

ABSTRACT

A robust algorithm solution is proposed for tracking an object in complex video scenes. In this solution, the bootstrap particle filter (PF) is initialized by an object detector, which models the time-evolving background of the video signal by an adaptive Gaussian mixture. The motion of the object is expressed by a Markov model, which defines the state transition prior. The color and texture features are used to represent the object, and a marginal likelihood based feature fusion approach is proposed. A corresponding object template model updating procedure is developed to account for possible scale changes of the object in the tracking process. Experimental results show that our algorithm beats several existing alternatives in tackling challenging scenarios in video tracking tasks.

研究の動機と目的

• 遮蔽、照度変化、物体スケール変動が生じる複雑な動画シーンにおける、既存のパーティクルフィルタベースのトラッカーの限界を解消すること。
• 特徴の信頼性に基づいて適応的に重み付けを行う尤度ベースのメカニズムを用いて、色とテクスチャ特徴を融合し、追跡の頑健性を向上させること。
• 物体スケール変化や特徴分布の変化に応じて動的に適応する、オンラインでのテンプレート更新戦略を開発すること。
• 背景モデリングのための適応的ガウス・ミックスチャネル・モデルと初期オブジェクト検出の統合により、トラッカーの初期化と安定性を向上させること。

提案手法

• 時間的に変化する背景ダイナミクスをモデル化するため、適応的ガウス・ミックスチャネル（GM）モデルで初期化されたブートストラップ・パーティクルフィルタを用いてオブジェクトを検出し、追跡する。
• オブジェクトを色とテクスチャ特徴で表現し、各特徴の周辺確率分布を用いて尤度を計算する。
• 各フレームにおける相対的な信頼性に基づいて、色とテクスチャ尤度を適応的に統合する尤度ベースの特徴融合戦略を採用する。
• 状態遷移モデルとして、ゼロ平均のガウスノイズを伴うマルコフ過程に基づくものを用い、フレーム間でのオブジェクト運動を予測する。
• 周辺尤度に対する統計的検定を用いて、特徴分布の急激な変化を検出し、その際にテンプレート更新をトリガーする適応的テンプレート更新メカニズムを実装する。
• 遮蔽時には1ステップ予測による状態推定を実行し、両方の特徴が急激な分布シフトを示す場合にはテンプレート更新を回避する。

実験結果

リサーチクエスチョン

• RQ1 複雑な条件下で追跡の頑健性を向上させるために、パーティクルフィルタフレームワーク内での色とテクスチャ特徴を最適に融合する方法は何か？
• RQ2 オブジェクトが遮蔽やスケール変化といった顕著な変化を受ける状況を、信頼性の高い基準で検出するにはどのような基準が必要か？
• RQ3 提案された尤度ベースの特徴融合メカニズムは、等重みまたは単一特徴融合と比較して、追跡精度においてどのように差をつけるか？
• RQ4 適応的テンプレート更新は、スケール変化や背景のごみが生じる状況で、性能を著しく向上させるか？
• RQ5 背景モデリングにガウス・ミックスチャネルを統合することで、トラッカーの初期化と誤検出に対する耐性がどの程度向上するか？

主な発見

• 提案手法は、両テストケースにおいてALG I、ALG II、ALG III、ALG IVを上回る追跡精度を発揮した。特に照度変化や背景の混同に強い性能を示した。
• ケースI（暗いトンネルを走る車）では、車のテールランプが点灯したことで色特徴に顕著な変化が生じたが、本手法は高い追跡精度を維持した。一方、ALG Iは色特徴の劣化により失敗した。
• ケースII（木々の間を飛ぶヘリコプター）では、部分的遮蔽や背景との混同が生じたが、本手法は正常にオブジェクトを追跡した。一方、ALG IとALG IIIは、木の冠をオブジェクトとして誤認識したため、早期に失敗した。
• 特徴融合メカニズムは、図3の事後確率プロットからも明らかであり、特徴分布のシフトに応じて色とテクスチャ特徴の寄与度を動的に調整していた。
• 1フレームあたりの計算時間は平均8.632秒であり、ALG III（7.797秒）とALG IV（9.255秒）を上回る性能を示し、精度と効率の良好なバランスを達成した。
• 適応的テンプレート更新メカニズムは、図2の追跡ボックスのサイズ変化からも明らかであり、スケール変化に適応し、動的環境下での有効性を確認した。