[論文レビュー] Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning

Xi Li, Chunhua Shen+3 more|arXiv (Cornell University)|Apr 13, 2012

Video Surveillance and Tracking Methods参考文献 1被引用数 11

ひとこと要約

本論文では、オンラインマハラノビス距離度量学習と時刻重み付きリザボア・サブセット法を用いた非スパース線形表現を用いた高速で頑健なビジュアルトラッカーを提案する。ℓ₁正則化付きスパース線形表現における計算コストの高い最適化を、閉形式の最小二乗解に置き換えることで、特徴量の相関関係を捉える判別性の高い度量を組み込むことで、高い効率性と外見変化に対する改善された頑健性を達成し、困難なシーケンスにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Most sparse linear representation-based trackers need to solve a computationally expensive L1-regularized optimization problem. To address this problem, we propose a visual tracker based on non-sparse linear representations, which admit an efficient closed-form solution without sacrificing accuracy. Moreover, in order to capture the correlation information between different feature dimensions, we learn a Mahalanobis distance metric in an online fashion and incorporate the learned metric into the optimization problem for obtaining the linear representation. We show that online metric learning using proximity comparison significantly improves the robustness of the tracking, especially on those sequences exhibiting drastic appearance changes. Furthermore, in order to prevent the unbounded growth in the number of training samples for the metric learning, we design a time-weighted reservoir sampling method to maintain and update limited-sized foreground and background sample buffers for balancing sample diversity and adaptability. Experimental results on challenging videos demonstrate the effectiveness and robustness of the proposed tracker.

研究の動機と目的

• ビジュアルトラッキングにおけるℓ₁正則化付きスパース線形表現の高い計算コストを軽減すること。
• 度量学習により特徴量次元間の相関情報を捉えることで、判別性能を向上させること。
• リアルタイムトラッキングにおけるメモリ制約下でも効率的なオンライン度量学習を可能にすること。
• 限定的なサイズのフォアグラウンドおよびバックグラウンドバッファを維持することで、サンプルの多様性と適応性のバランスをとること。
• 外見変化、遮蔽、ポーズ変化に対して頑健であり、スケーラブルでリアルタイム対応可能なビジュアルトラッキングフレームワークの開発

提案手法

• トラッカーは、閉形式解が得られる最小二乗最適化問題に基づく非スパース線形表現を用い、高速な推論を実現する。
• 近接比較を用いてオンラインでマハラノビス距離度量を学習し、フォアグラウンドとバックグラウンド特徴量の間の判別能力を向上させる。
• 度量学習を線形表現最適化に統合することで、オブジェクトと背景の分離を改善する。
• 時刻重み付きリザボア・サブセット法を用いて、動的で限定的なサイズのフォアグラウンドおよびバックグラウンドサンプルのバッファを維持し、最近の観測に高い重みを与える。
• 逐次的行列演算を用いて新しいデータで閉形式解を効率的に更新することで、リアルタイムでの適応性を実現する。
• 理論的に、有限個のサンプルのみを用いても、フルバッチ度量学習を近似可能であることを裏付けている。

実験結果

リサーチクエスチョン

• RQ1 閉形式解を有する非スパース線形表現は、ℓ₁正則化付きスパース表現と同等またはそれ以上の精度を達成しつつ、著しく高速化できるか？
• RQ2 オンラインマハラノビス度量学習により、特徴量間の相関関係を捉えることでトラッキングの頑健性が向上するか？
• RQ3 時刻重み付きリザボア・サブセット法は、ビジュアルトラッキングのオンライン度量学習において、サンプルの多様性と適応性を効果的に維持できるか？
• RQ4 外見変化、遮蔽、ポーズ変化といった困難な条件下で、本手法のトラッカーはどのように性能を発揮するか？
• RQ5 本手法はリアルタイムビジュアルトラッキング用途に十分にスケーラブルかつ効率的か？

主な発見

• 提案手法のトラッカーは、CLEベンチマークの13の動画シーケンスのうち10で最高の成功率を記録し、最先端の手法を上回った。
• バッファサイズが約300程度で性能が安定することから、良好な性能を発揮するには大容量のメモリバッファは必ずしも必要でないことが示された。
• トラッカーの実行時間は、パーティクル数に対して非線形的であるのに対し、パーティクルフィルタベースの手法とは異なり、著しく効率的である。
• 固有値分解を伴わない度量学習でも、計算コストの高い段階的固有値分解手法と同等の性能を達成した。
• 度量学習を線形表現に統合することで、特に外見変化が著しいシーケンスにおいて、トラッキング精度が向上した。
• 時刻重み付きリザボア・サブセット法により、サンプルの関連性が効果的に維持され、最近のサンプルに高い重みが与えられ、動的な変化への適応性が向上した。