[論文レビュー] A Structural Correlation Filter Combined with A Multi-task Gaussian Particle Filter for Visual Tracking

Manna Dai, Shuying Cheng+2 more|arXiv (Cornell University)|Mar 3, 2018

Video Surveillance and Tracking Methods参考文献 5被引用数 3

ひとこと要約

本稿では、複数の構造的相関フィルタ（KCF）を弱い専門家として統合し、マルチタスクガウス粒子フィルタ（GPF）と融合させることで、ロバスト性を向上させる、KCF-GPFと呼ばれる新しい視覚追跡フレームワークを提案する。空間的・幾何的整合性と信頼性重み付き融合を活用することで、50の困難なシーケンスにおいてOTB-2013で16のSOTAトラッカーを上回る精度と成功度の指標を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we propose a novel structural correlation filter combined with a multi-task Gaussian particle filter (KCF-GPF) model for robust visual tracking. We first present an assemble structure where several KCF trackers as weak experts provide a preliminary decision for a Gaussian particle filter to make a final decision. The proposed method is designed to exploit and complement the strength of a KCF and a Gaussian particle filter. Compared with the existing tracking methods based on correlation filters or particle filters, the proposed tracker has several advantages. First, it can detect the tracked target in a large-scale search scope via weak KCF trackers and evaluate the reliability of weak trackers q decisions for a Gaussian particle filter to make a strong decision, and hence it can tackle fast motions, appearance variations, occlusions and re-detections. Second, it can effectively handle large-scale variations via a Gaussian particle filter. Third, it can be amenable to fully parallel implementation using importance sampling without resampling, thereby it is convenient for VLSI implementation and can lower the computational costs. Extensive experiments on the OTB-2013 dataset containing 50 challenging sequences demonstrate that the proposed algorithm performs favourably against 16 state-of-the-art trackers.

研究の動機と目的

• 高速移動、オクルージョン、スケール変化、外観変化の処理における相関フィルタベースのトラッカーの限界を克服する。
• 高次元状態空間における粒子フィルタの不安定性と初期化の悪さを、弱い専門家の統合によって克服する。
• 弱いトラッカーの意思決定の信頼性評価とマルチタスク粒子フィルタリングを活用して、追跡のロバスト性を向上させる。
• リサンプリングを伴わない重要度サンプリングを用いることで、計算コストを低く抑え、効率的かつ並列化可能な実装を実現する。
• 連続フレーム間のターゲット位置の空間的・幾何的関係を活用して、スケーラブルで信頼性の高い検索メカニズムを構築する。

提案手法

• HOGおよびグレースケール特徴量を用いて、それぞれの弱い専門家として複数のKCFトラッカーを配置し、初期的なターゲット位置推定値を生成する。
• 連続フレーム間の空間的・幾何的制約を用いて、弱い専門家の意思決定のための大規模で信頼性の高い探索領域を定義する。
• 各弱い専門家の意思決定の信頼性を評価するための信頼度マップを計算し、ガウス粒子フィルタ（GPF）における重みとして使用する。
• 粒子上でHOGおよびグレースケール特徴量を同時に評価するマルチタスクGPFを実装し、ロバストな状態推定を実現する。
• リサンプリングを伴わない重要度サンプリングを適用することで、計算効率を維持し、VLSIフレンドリーで完全に並列化可能な実装を可能にする。
• GPF内での重み付き組み合わせにより、弱いトラッカーの出力を統合し、粒子状態を信頼度重み付きの信頼度マップに基づいて更新する。

実験結果

リサーチクエスチョン

• RQ1 構造的相関フィルタのマルチエキスパートアンサンブルは、オクルージョンや外観変化下でも追跡のロバスト性を向上させることができるか？
• RQ2 連続フレーム間のターゲット位置の空間的・幾何的整合性は、大規模追跡における探索の信頼性をどのように向上させるか？
• RQ3 ガウス粒子フィルタにおける信頼度重み付き統合戦略は、高速移動やスケール変化の処理において、標準的な粒子フィルタを上回ることができるか？
• RQ4 HOGおよびグレースケール特徴量を併用するマルチタスク粒子フィルタリングは、単一特徴量アプローチと比較して、追跡精度をどの程度向上させるか？
• RQ5 リサンプリングフリーで重要度サンプリングに基づくGPFを用いることで、計算コストを低く抑えながら高い性能を達成できるか？

主な発見

• KCF-GPFは、OTB-2013ベンチマークにおいて、成功度で平均AUCスコア0.624、精度で0.572を記録し、16のSOTAトラッカーを上回った。
• すべての11の困難な属性（例：オクルージョン、変形、高速移動）において上位3位以内にランクされ、特にオフプレーン回転と変形の状況で最高の性能を示した。
• 定性的な結果から、KCF-GPFは深刻なオクルージョン、照明変化、高速移動下でも追跡精度を維持しているのに対し、KCF や CFNet といったベースライン手法は頻繁に漂移していることが明らかになった。
• 信頼度重み付き統合メカニズムは、部分的オクルージョンやスケール変化時において意思決定のロバスト性を顕著に向上させた。
• 重要度サンプリングに基づくGPFを用いたマルチタスク追跡は、リサンプリングに基づく手法と比較して、計算コストを低減しつつ、効率的かつ並列処理可能な計算を実現した。
• 空間的・幾何的整合性に基づく大規模な探索戦略により、オクルージョン後の再検出が効果的に行われ、回復性能が向上した。