[論文レビュー] Deformable Parts Correlation Filters for Robust Visual Tracking

Alan Lukežič, Luka Čehovin Zajc+1 more|arXiv (Cornell University)|May 12, 2016

Video Surveillance and Tracking Methods参考文献 3被引用数 11

ひとこと要約

本論文は、幾何的および視覚的制約を同時にモデル化する完全接続スプリングシステムを用いた、粗い相関フィルタと中程度の可変部分モデルを組み合わせた変形可能部品相関フィルタトラッカー（DPT）を提案する。この手法は、実時間速度で動作しながら、OTB、VOT2014、VOT2015ベンチマークで最先端の性能を達成し、包括的および部分ベースのベースラインと比較して、故障率を顕著に低減し、オverlapメトリクスを向上させた。

ABSTRACT

Deformable parts models show a great potential in tracking by principally addressing non-rigid object deformations and self occlusions, but according to recent benchmarks, they often lag behind the holistic approaches. The reason is that potentially large number of degrees of freedom have to be estimated for object localization and simplifications of the constellation topology are often assumed to make the inference tractable. We present a new formulation of the constellation model with correlation filters that treats the geometric and visual constraints within a single convex cost function and derive a highly efficient optimization for MAP inference of a fully-connected constellation. We propose a tracker that models the object at two levels of detail. The coarse level corresponds a root correlation filter and a novel color model for approximate object localization, while the mid-level representation is composed of the new deformable constellation of correlation filters that refine the object location. The resulting tracker is rigorously analyzed on a highly challenging OTB, VOT2014 and VOT2015 benchmarks, exhibits a state-of-the-art performance and runs in real-time.

研究の動機と目的

• 非剛体な変形および隠蔽に対処できない包括的相関フィルタトラッカーの限界を解消すること。
• ビジュアルトラッキングにおける完全接続部分ベースモデルの高い計算コストと不安定性を克服すること。
• 凸的で完全接続された変形可能部品モデルにおけるMAP推論のための効率的な最適化手法を開発すること。
• 粗いレベルの外観モデルと中程度の変形可能部品モデルを統合することで、トラッキングの頑健性と精度を向上させること。
• 主要ベンチマークで最先端のトラッカーを上回る性能を発揮しながら、リアルタイムでの動作を達成すること。

提案手法

• 視覚的尤度（相関フィルタを介して）と幾何的制約（スプリングシステム）を統合した凸エネルギー関数として変形可能部品モデルを定式化し、最適化を一元的に行う。
• 早期段階での細粒度な部分推定に依存することを減らすために、高速で近似的な物体局在化を実現する新規なカラーベース粗いモデルを導入する。
• オンライン回帰を用いて部分外観モデルをガウス型尤度として更新し、効率的な識別的トラッキングを可能にする。
• 完全接続スプリングシステムを用いて幾何的制約をモデル化し、柔軟な変形モデリングと部分的隠蔽に対する耐性を実現する。
• エネルギー関数の双対定式化に対する効率的な繰り返し直接法（IDA）最適化器を導出することで、高速収束性と数値的安定性を確保する。
• トップダウンによる局在化とボトムアップによる更新戦略を実装する：粗いフィルタが部分の局在化をガイドし、部分の応答が全体の推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 完全接続された変形可能部品モデルを、ビジュアルトラッキングの文脈でリアルタイムに効率的に最適化できるか？
• RQ2 粗い外観モデルと中程度の変形可能部品モデルを統合することで、変形および隠蔽に対する頑健性が向上するか？
• RQ3 相関フィルタを部分ベースモデルに効果的に拡張できるか、かつ速度と精度を維持できるか？
• RQ4 本手法で提案されたスプリングシステムの定式化は、スターや局所接続トポロジーと比較して、トラッキング性能にどのように差をつけるか？
• RQ5 本手法は、最先端の包括的および部分ベーストラッカーと比較して、故障率をどの程度低減し、オーバラップメトリクスをどの程度向上させるか？

主な発見

• DPTトラッカーは、OTB、VOT2014、VOT2015ベンチマークで、それぞれ29、38、60のトラッカーを上回る最先端の性能を達成した。
• DPTは、アーキテクチャに5つのKCFを用いているにもかかわらず、ベースラインのKCFと比較して故障率をほぼ60％低減した。
• 期待される平均オーバラップはKCFと比較して80％以上向上し、OTBの平均オーバラップは約30％向上した。
• 繰り返し直接法（IDA）最適化器は、特に部分数の増加に伴って、共役勾配法と比較して著しく高速に収束し、数値的安定性に優れている。
• 完全接続コンステレーションモデルは性能向上に大きく寄与しており、アブレーションスタディでは、長期間の部分的隠蔽や急速な外観変化に対しても頑健性が向上していることが示された。
• 本手法は部分数の増加に伴って良好にスケーリングされるため、より複雑な部分ベースモデルやサリエンシー駆動型局在化への応用の可能性を示している。