[論文レビュー] High Speed Kernelized Correlation Filters without Boundary Effect.

Ming Tang, Linyu Zheng+2 more|arXiv (Cornell University)|Jun 17, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 3

ひとこと要約

本論文では、ヒルバート空間における非直交基底と実画像パッチを用いることで境界効果を排除し、速度を落とさずに自然なカーネルトリックの使用を可能にする高速なカーネル化相関フィルタトラッカーnBEKCFを提案する。平均70 fpsの速度を達成し、OTB2013およびOTB2015で最先端のトラッカーを上回る性能を発揮する。

ABSTRACT

Recently, correlation filter based trackers (CF trackers) have attracted much attention in vision community because of their top performance in both location and speed. However, the boundary effect imposed by the periodic assumption for the efficient optimization seriously limits their location accuracy. Although there existed many modern works to relax the boundary effect of CF trackers, they all are not able to eliminate the boundary effect thoroughly as well as exploit the kernel trick to improve their location accuracy, and their speeds are reduced greatly. Either relaxing the boundary effect or being able to exploit kernel trick to improve the accuracy, and either relaxing the boundary effect or keeping CF trackers running at high speed have been two dilemmas in the society of visual tracking. To solve these problems, in this paper, we propose a high speed kernel correlation filter without the boundary effect (nBEKCF). Unlike all current CF trackers which exploited real and virtual image patches to train their regression functions, we construct a set of non-orthogonal bases with a group of circulant basic samples and utilize a function defined in Hilbert space and a set of densely sampled, totally real patches to regress a Gaussian goal. This way, the boundary effect is eliminated thoroughly in theory and the kernel trick can be employed naturally. To ensure nBEKCF runs at high speed, we present two efficient algorithms, ACSII and CCIM, to significantly accelerate the evaluation of kernel matrix without employing FFT. By exploiting the circulant structure of basic samples, the efficiency of CCIM in evaluating correlation exceeds that of FFT remarkably. Preliminary experimental results on two public datasets, OTB2013 and OTB2015, show that, without bells and whistles, nBEKCF outperforms representative trackers with hand-crafted features, in the meanwhile, runs at 70 fps on average.

研究の動機と目的

• 周期的仮定に起因する位置精度の低下を引き起こす、相関フィルタトラッカーにおける長年の境界効果を解消すること。
• 計算速度を犠牲にせずにトラッキング精度を向上させるためにカーネルトリックの使用を可能にすること。
• 従来のCFトラッカーにおける、カーネル化による精度向上とFFTを避ける最適化による高速化の間で生じるトレードオフを克服すること。
• 理論的に境界効果を排除できるが、同時に新しいアルゴリズム的設計により高い推論速度を維持する手法の開発

提案手法

• 巡回行列の基本サンプルを用いて非直交基底の集合を構築し、ヒルバート空間におけるトラッキングフィルタを表現する。
• 密にサンプリングされた実画像パッチとガウスターゲットを用いてヒルバート空間における回帰関数を定義し、仮想パッチを避ける。
• カーネル化回帰としてトラッキング問題を定式化し、精度向上に寄与するカーネルトリックを自然にサポートする。
• 基本サンプルの巡回構造を活用し、FFTに依存せずにカーネル行列評価を高速化するACSIIおよびCCIMアルゴリズムを導入する。
• 基本サンプルの巡回性を活用することで、CCIMにおいてFFTベースの手法よりも高速な相関計算を実現する。
• 周期的拡張の必要性を排除するため、実パッチのみを用いてフィルタを学習することで、理論的に境界アーチファクトを除去する。

実験結果

リサーチクエスチョン

• RQ1 相関フィルタトラッキングにおける境界効果を、理論的に除去しつつ、高速な推論を維持できるか？
• RQ2 計算コストの増加を伴わずにカーネルトリックを相関フィルタトラッキングに統合することは可能か？
• RQ3 特に巡回構造を持つサンプルの文脈において、FFTを用いずに効率的なカーネル行列評価を達成できるか？
• RQ4 実パッチに基づく回帰による境界効果の除去が、標準ベンチマークにおけるトラッキング精度を向上させるか？
• RQ5 カーネル化された相関フィルタが、手作業で設計された特徴量や複雑な後処理に依存せずに、リアルタイム性能（例：70 fps以上）を維持できるか？

主な発見

• nBEKCFは、ヒルバート空間における実パッチと非直交基底を用いた新しい定式化により、相関フィルタトラッキングにおける境界効果を理論的に排除する。
• 本トレッカーは、標準ベンチマーク上で平均70 fpsの速度を達成し、カーネル化にもかかわらず高い効率性を示す。
• nBEKCFは、OTB2013およびOTB2015データセットにおいて、手作業で設計された特徴量を用いる代表的なトラッカーを、追加の装飾なしに上回る。
• CCIMアルゴリズムは、基本サンプルの巡回構造を活用することで相関評価を著しく高速化し、FFTベースの手法を凌駆する効率性を示す。
• 提案手法により、相関フィルタリングにおける自然なカーネルトリックの使用が可能になり、速度を落とさずに位置精度が向上する。
• 仮想拡張ではなく実画像パッチを用いることで、周期性に起因するアーチファクトが除去され、より正確なターゲット局所化が実現される。