[論文レビュー] ECO: Efficient Convolution Operators for Tracking

Martin Danelljan, Goutam Bhat+2 more|arXiv (Cornell University)|Nov 28, 2016

Video Surveillance and Tracking Methods参考文献 4被引用数 23

ひとこと要約

本論文は、因子分解畳み込み演算子、コン act な生成的トレーニングサンプルモデル、および効率的な保守的更新戦略を用いて、モデルの複雑さと過学習を低減する新しいDCFベースのトラッキングフレームワークECOを提案する。この手法はC-COTに対して20倍の高速化を達成し、VOT2016では期待平均オーバーラップを13.0%向上させ、ハンドクラフト特徴量を用いて60 FPSのリアルタイム性能を達成しながらOTB-2015で65.0%のAUCを達成した。

ABSTRACT

In recent years, Discriminative Correlation Filter (DCF) based methods have significantly advanced the state-of-the-art in tracking. However, in the pursuit of ever increasing tracking performance, their characteristic speed and real-time capability have gradually faded. Further, the increasingly complex models, with massive number of trainable parameters, have introduced the risk of severe over-fitting. In this work, we tackle the key causes behind the problems of computational complexity and over-fitting, with the aim of simultaneously improving both speed and performance. We revisit the core DCF formulation and introduce: (i) a factorized convolution operator, which drastically reduces the number of parameters in the model; (ii) a compact generative model of the training sample distribution, that significantly reduces memory and time complexity, while providing better diversity of samples; (iii) a conservative model update strategy with improved robustness and reduced complexity. We perform comprehensive experiments on four benchmarks: VOT2016, UAV123, OTB-2015, and TempleColor. When using expensive deep features, our tracker provides a 20-fold speedup and achieves a 13.0% relative gain in Expected Average Overlap compared to the top ranked method in the VOT2016 challenge. Moreover, our fast variant, using hand-crafted features, operates at 60 Hz on a single CPU, while obtaining 65.0% AUC on OTB-2015.

研究の動機と目的

• 最先端の判別的相関フィルタ（DCF）トラッカーにおける計算複雑性の増大と過学習を解消すること。
• 性能を損なわずにモデルパラメータ数、トレーニングサンプルサイズ、最適化イテレーション回数を削減すること。
• 限られたトレーニングデータ下でもロバスト性と一般化性能を向上させつつ、リアルタイムトラッキング能力を回復すること。
• ハンドクラフト特徴量または深層特徴量を用いても高い精度を維持できる軽量で強力なDCFトラッカーを開発すること。

提案手法

• ベースラインのC-COTと比較してモデルパラメータ数を80%削減する因子分解畳み込み演算子を導入する。
• トレーニングサンプル分布のコンパクトな生成的モデルを提案し、メモリと時間の複雑さを90%削減しながらもサンプルの多様性を保持する。
• 最近のフレームへの過学習を低減し、最適化イテレーションを80%削減する保守的モデル更新戦略を実装する。
• 2段階の学習プロセスを採用する：まず因子分解畳み込みを用いてコンパクトな表現を学習し、次に生成的サンプリングを適用して多様なトレーニングデータをシミュレートする。
• モデル更新戦略を統合して過剰な更新を制限し、スケール変化、変形、オフプレーン回転に対してロバスト性を向上させる。
• ハンドクラフト特徴量（HOG、Color Names）と深層特徴量の両方を用いてフレームワークを適用し、CPU上でリアルタイム動作を実現する。

実験結果

リサーチクエスチョン

• RQ1 因子分解畳み込み演算子は、性能を維持したままDCFベースのトラッカーにおけるパラメータ数を顕著に削減できるか？
• RQ2 トレーニングサンプルのコンパクトな生成的モデルは、多様性や精度を損なわずにメモリと時間の複雑さを低減できるか？
• RQ3 保守的モデル更新戦略は、オンラインDCFトラッキングにおけるロバスト性を向上させるとともに過学習を低減できるか？
• RQ4 提案手法は、VOT2016でトップランクのC-COTトラッカーに対して20倍の高速化を達成しつつ、最先端の性能を実現できるか？
• RQ5 ECOは、OTB-2015およびUAV123で既存手法を上回る性能を発揮しながら、CPU上で60 FPSのリアルタイム性能を維持できるか？

主な発見

• VOT2016では、ECOはトップランクのC-COTトラッカーに対して13.0%の相対的向上を示し、期待平均オーバーラップ（EAO）が0.374（C-COTは0.331）を記録した。
• ECOの深層特徴量バージョンは、TCNNと比較してEFO（正規化速度）で5倍の高速化を達成しながら、EAOを15.1%向上させた。
• UAV123では、ECO-HC（ハンドクラフト特徴量）は60 FPSで51.7%のAUCを達成し、Staple（45.3% AUC）を上回り、C-COTと同等の性能を発揮した。
• OTB-2015では、ECO-HCはハンドクラフト特徴量を用いて65.0%のAUCを達成し、SRDCFad（63.4%）を上回り、単一CPU上で60 FPSで動作した。
• OTB-2015では、ECOの深層特徴量バージョンは70.0%のAUCを達成し、C-COT（69.0%）、MDNet（68.5%）、TCNN（66.1%）を上回った。
• TempleColorでは、ECOはC-COTに対してAUCを0.8%向上させ、多様なベンチマークで一貫した向上を示した。