[論文レビュー] Large Margin Object Tracking with Circulant Feature Maps

Mengmeng Wang, Yong Liu+1 more|arXiv (Cornell University)|Mar 15, 2017

Video Surveillance and Tracking Methods参考文献 28被引用数 90

ひとこと要約

LMCFを導入する高速な大-margin追跡法で、構造化出力 SVMと循環特徴マップおよび相関フィルタを組み合わせ、マルチモーダル検出と高信頼度更新を実現し、リアルタイム性能を実現する。DeepLMCFはCNN特徴を用いて拡張される。

ABSTRACT

Structured output support vector machine (SVM) based tracking algorithms have shown favorable performance recently. Nonetheless, the time-consuming candidate sampling and complex optimization limit their real-time applications. In this paper, we propose a novel large margin object tracking method which absorbs the strong discriminative ability from structured output SVM and speeds up by the correlation filter algorithm significantly. Secondly, a multimodal target detection technique is proposed to improve the target localization precision and prevent model drift introduced by similar objects or background noise. Thirdly, we exploit the feedback from high-confidence tracking results to avoid the model corruption problem. We implement two versions of the proposed tracker with the representations from both conventional hand-crafted and deep convolution neural networks (CNNs) based features to validate the strong compatibility of the algorithm. The experimental results demonstrate that the proposed tracker performs superiorly against several state-of-the-art algorithms on the challenging benchmark sequences while runs at speed in excess of 80 frames per second. The source code and experimental results will be made publicly available.

研究の動機と目的

• 構造化出力SVMと相関フィルタの高速化を組み合わせることで、リアルタイム視覚追跡を前進させる。
• マルチモーダル検出によってターゲットの局在精度を向上させ、モデルドリフトを低減する。
• 高信頼度のオンライン更新を通じてモデルの破損を防ぐ。
• 手作業特徴と深層CNN特徴の両方との適合性を示す（DeepLMCF）。
• 標準ベンチマークにおける性能を最先端のトラッカーと比較して検証する。

提案手法

• Tracking-by-detectionを、ターゲットパッチの密にサンプリングされた循環シフトを用いた大-margin構造SVMとして定式化する。
• FFT/DFT演算を介した高速オンライン最適化を可能にするため、構造化SVMと相関フィルタを結ぶ。
• 複数の応答ピークに対処し誤検出を防ぐためのマルチモーダルターゲット検出を提案する。
• F_maxとAPCEを用いてモデルを更新すべき時を決定する高信頼度更新戦略を実装する。
• カーネルトリックを介して非線形カーネルに拡張し、非線形の場合にはアルファベースの解を提供する。
• 階層的ウェイト付けを伴うVGG-19層のCNN特徴を用いたDeepLMCFバリアントを提供する。

実験結果

リサーチクエスチョン

• RQ1 密にサンプルされた循環サンプルを用いたオンライン最適化を、相関フィルタ技術で効率化できる大-margin構造SVMはあるか。
• RQ2 マルチモーダルターゲット検出は、混合物の存在下で局在精度を向上させ、ドリフトを低減するか。
• RQ3 高信頼度オンライン更新戦略は、モデルの破損を防ぎ、リアルタイム性能を維持できるか。
• RQ4 手作業特徴と深層CNN特徴を提案フレームワークで比較するとどうか、CNN特徴は効果的に統合できるか。
• RQ5 標準ベンチマーク（OTB-13/OTB-15）で、最先端のトラッカーに対してどの程度の性能向上が得られるか。

主な発見

• LMCFはOTB-13およびOTB-15において、従来特徴量トラッカーの間でOPE、TRE、SRE指標で最先端の性能を達成する。
• CNN特徴を用いるDeepLMCFは、精度と成功率をさらに向上させつつ、リアルタイムまたはほぼリアルタイムの速度を維持する（DeepLMCF ~8.11 FPSは一つの指標で、いくつかのCNNベースのトラッカーより高速）。
• マルチモーダル検出アプローチは、難敵からの偽検出を減らし、局在精度を改善する。
• 高信頼度更新戦略は、遮蔽や見逃し時にモデルの破損を防ぎ、追跡の堅牢性を維持する。
• 従来特徴でのLMCFは80 FPSを超える実時間性を示し、DeepLMCFはハードウェアに依存して約10FPS以上で動作する。