[論文レビュー] Fast Tracking via Spatio-Temporal Context Learning

Kaihua Zhang, Lei Zhang+2 more|arXiv (Cornell University)|Nov 8, 2013

Video Surveillance and Tracking Methods参考文献 20被引用数 108

ひとこと要約

本論文は、標的とその周囲の背景の間の空間的相関をモデル化するベイジアンフレームワークを用いて、空間的・時間的文脈学習を行う高速で頑健な視覚追跡アルゴリズムを提案する。信頼性マップの計算を高速フーリエ変換（FFT）で効率的に行うことで、最適化なしにMATLAB上で350 FPSを達成し、遮蔽や外観変化が顕著な困難なシーケンスにおいて、精度、頑健性、速度の面で最先端のトラッカーを上回る性能を発揮する。

ABSTRACT

In this paper, we present a simple yet fast and robust algorithm which exploits the spatio-temporal context for visual tracking. Our approach formulates the spatio-temporal relationships between the object of interest and its local context based on a Bayesian framework, which models the statistical correlation between the low-level features (i.e., image intensity and position) from the target and its surrounding regions. The tracking problem is posed by computing a confidence map, and obtaining the best target location by maximizing an object location likelihood function. The Fast Fourier Transform is adopted for fast learning and detection in this work. Implemented in MATLAB without code optimization, the proposed tracker runs at 350 frames per second on an i7 machine. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods in terms of efficiency, accuracy and robustness.

研究の動機と目的

• 遮蔽、照明変化、ポーズ変化に起因する外観変動を効果的に扱える高速で頑健な視覚追跡アルゴリズムの開発。
• 標的とその局所的背景との空間的関係である空間的・時間的文脈を活用して、追跡の精度と頑健性を向上させること。
• リアルタイム追跡におけるオンライン学習と検出に、高速フーリエ変換（FFT）を活用することで、高い計算効率を達成すること。
• 標的と文脈特徴の間の統計的相関を用いて、信頼性マップの最大化問題として追跡を定式化すること。
• 反復的スケール推定と適応的重み付けを用いて、スケール変化に対しても性能を維持すること。

提案手法

• 本手法は、標的特徴（強度と位置）と周囲の背景領域との間の統計的相関を捉えるベイジアンフレームワークを用いて空間的文脈をモデル化する。
• 現在のフレームから空間的文脈モデルを学習するために、畳み込みの逆問題を解く。これにより、標的とその局所的文脈の相対的空間配置が符号化される。
• 連続するフレーム間の時間的近接性を組み込むことで、学習された空間的モデルを空間的・時間的文脈モデルに拡張する。
• 次フレームにおける物体検出は、空間的・時間的文脈情報を統合した信頼性マップの畳み込み計算によって実施される。
• 高速フーリエ変換（FFT）を用いて、モデル学習と検出の両方を高速化し、リアルタイム性能を実現する。
• 履歴的なスケール推定値を用いた反復的かつ安定化された更新により、信頼性マップの値からスケール比を推定することでスケール適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的文脈学習は、重度の遮蔽や外観変動下でも追跡の頑健性を向上させることができるか？
• RQ2 標的とその局所的背景との空間的関係を効果的にモデル化することで、背景からの識別性を向上させることができるか？
• RQ3 FFTに基づく計算により、コード最適化なしにリアルタイム追跡が可能となり、高いフレームレートを達成できるか？
• RQ4 リアルタイム追跡フレームワークにおいて、スケール変化を正確かつ安定的に推定する方法は何か？
• RQ5 文脈を組み込んだ生成的アプローチが、識別的および純粋な生成的手法を上回る性能を、速度と精度の両面で発揮できるか？

主な発見

• 提案手法は、i7マシン上でコード最適化なしにMATLABで350 FPSを達成し、高い計算効率を示した。
• 重度の遮蔽や外観変化が生じる困難なシーケンスにおいて、最先端の手法を精度と頑健性の面で顕著に上回った。
• 空間的・時間的文脈の統合により、標的の外観が著しく変化した場合でも、性能を維持できるようになった。
• 信頼性マップ計算にFFTを用いることで、高速なオンライン学習と検出が可能となり、リアルタイム応用に適した。
• 平均化と指数平滑化を用いた反復的スケール推定法により、時間経過に伴う安定的かつ正確なスケール適応が実現された。
• 文脈に配慮した設計のおかげで、照明変化やポーズ変化を含む多様な追跡シナリオにおいても、高い性能を維持した。