[論文レビュー] A multi-feature tracking algorithm enabling adaptation to context variations

Duc Phu Chau, François Brémond+1 more|arXiv (Cornell University)|Dec 6, 2011

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文では、Adaboostを用いて最適な特徴量重みを学習することで、変化するシーンの文脈に適応するマルチ特徴量トラッキングアルゴリズムを提案する。8つの特徴量（HOG、色ヒストグラム、空間ピラミッド距離など）を時間窓と軌跡フィルタリングを組み合わせて統合し、遮蔽や照明変化に対しても耐性を高め、公開データセットおよび実世界の動画シーケンスにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

We propose in this paper a tracking algorithm which is able to adapt itself to different scene contexts. A feature pool is used to compute the matching score between two detected objects. This feature pool includes 2D, 3D displacement distances, 2D sizes, color histogram, histogram of oriented gradient (HOG), color covariance and dominant color. An offline learning process is proposed to search for useful features and to estimate their weights for each context. In the online tracking process, a temporal window is defined to establish the links between the detected objects. This enables to find the object trajectories even if the objects are misdetected in some frames. A trajectory filter is proposed to remove noisy trajectories. Experimentation on different contexts is shown. The proposed tracker has been tested in videos belonging to three public datasets and to the Caretaker European project. The experimental results prove the effect of the proposed feature weight learning, and the robustness of the proposed tracker compared to some methods in the state of the art. The contributions of our approach over the state of the art trackers are: (i) a robust tracking algorithm based on a feature pool, (ii) a supervised learning scheme to learn feature weights for each context, (iii) a new method to quantify the reliability of HOG descriptor, (iv) a combination of color covariance and dominant color features with spatial pyramid distance to manage the case of object occlusion.

研究の動機と目的

• オブジェクト密度、照明、遮蔽頻度などの多様なシーン文脈に自動的に適応するトラッキングアルゴリズムの開発を目的とする。
• 異なる環境における特徴量重みの手動チューニングの課題を解決するため、オフライン学習プロセスを導入する。
• 特徴量統合と信頼性の定量化を通じて、低コントラスト、深度変動、オブジェクト遮蔽などの複雑な状況におけるトラッキングの耐性を向上させる。
• 時間的整合性と軌跡フィルタリング機構を組み合わせることで、誤検出と軌跡損失を低減する。
• オブジェクトパスや固定された運動モデルに関する事前知識が不要な文脈に適応したトラッキングを実現する。

提案手法

• 2次元/3次元の移動距離、2次元のサイズ比と面積、色ヒストグラム、HOG、色共分散、主要色の8つの記述子からなる特徴量プールを構築する。
• 時間窓内でのこれらの特徴量の重み付き組み合わせを用いて、検出されたオブジェクト間の類似度を計算し、オブジェクトの対応関係を確立する。
• ラベル付きトレーニングシーケンスを用いて、オフラインでのAdaboostベースの学習スキームを採用し、各文脈に最適な特徴量重みを自動的に決定する。
• 視界が悪い状況でもHOG記述子の寄与度を高めるために、信頼性メトリクスを導入する。
• 色共分散と主要色を空間ピラミッド距離と統合することで、部分的または完全な遮蔽時における性能を向上させる。
• ノイズの多いトラックを、フレーム間の整合性と時間的整合性を評価することで除去する軌跡フィルタを適用する。

実験結果

リサーチクエスチョン

• RQ1 手動チューニングなしで、トラッキングシステムが異なるシーン文脈に特徴量選択と重み付けを自動的に適応できるか？
• RQ2 遮蔽や低照度といった困難な条件下で、最も耐性のあるトラッキング性能を発揮する視覚的特徴量の組み合わせは何か？
• RQ3 Adaboostのような教師あり学習アプローチが、トラッキングの正確性と安定性を向上させるために、文脈に特化した特徴量重みを効果的に学習できるか？
• RQ4 空間ピラミッド距離を色特徴量と統合することで、オブジェクト遮蔽時のトラッキング耐性がどのように向上するか？
• RQ5 提案手法は、多様な実世界の動画シーケンスにおいて、既存の最先端のトラッカーをどの程度上回るか？

主な発見

• 2つのETISEO動画シーケンス（BEおよびMO）において、16の評価指標のうち12つで最高性能を記録し、BEシーケンスでは平均F1スコア0.93を達成した。
• Caviarデータセットでは、全9つの軌跡（TP=9）を正常に追跡し、FN=0の誤検出なしに、誤検出数を[snidaro]の7から3に削減した。
• 低コントラストで深度変動が大きいシーケンス（ETI-VS1-MO-7-C1）では、学習プロセスが色共分散を主要な特徴量として選択し、視界不良下での有効性を裏付けた。
• 1人の人物を追跡するシーケンス（ETI-VS1-BE-18-C4）では、3次元移動距離が最も識別力の高い特徴量であると特定され、優れた耐性を示した。
• 色共分散、主要色、空間ピラミッド距離の組み合わせは、個々の特徴量よりも顕著に遮蔽対処能力を向上させた。
• オフラインAdaboost学習プロセスにより、文脈に特化した特徴量重みが的確に特定されたことから、本手法の多様な環境への適応可能性が裏付けられた。