[論文レビュー] Tracking with multi-level features

Roberto Henschel, Laura Leal-Taixé+2 more|arXiv (Cornell University)|Jul 25, 2016

Video Surveillance and Tracking Methods参考文献 36被引用数 17

ひとこと要約

本稿では、複数人トラッキングのためのグローバルな二次計画法（QP）定式化を提案する。この手法は、検出結果（bounding box）と高密度点トラックレット（低レベル特徴）の時間的リンクと空間的グループ化を統合的に最適化する。NP-hardなQPを、時間的関連付けには線形計画法（LP）の緩和、空間的グループ化にはスペクトルクラスタリングを用いる分解により、計算的に効率的な最適化を実現。QPの目的関数を用いてクラスタ数（人物数）を自動で決定することで、手動やヒューリスティックな選択を回避。従来のトラッキング・バイ・検出法や低レベル特徴法と比較して、高い精度と顕著に低いIDスイッチ数を達成する。

ABSTRACT

We present a novel formulation of the multiple object tracking problem which integrates low and mid-level features. In particular, we formulate the tracking problem as a quadratic program coupling detections and dense point trajectories. Due to the computational complexity of the initial QP, we propose an approximation by two auxiliary problems, a temporal and spatial association, where the temporal subproblem can be efficiently solved by a linear program and the spatial association by a clustering algorithm. The objective function of the QP is used in order to find the optimal number of clusters, where each cluster ideally represents one person. Evaluation is provided for multiple scenarios, showing the superiority of our method with respect to classic tracking-by-detection methods and also other methods that greedily integrate low-level features.

研究の動機と目的

• トラッキング・バイ・検出法の限界、すなわちボクシングボックス検出のみに依存し、豊富な低レベル・ミドルレベルの画像情報を無視する点を是正すること。
• 低レベルの高密度点軌跡とミドルレベルの検出結果を統合する、原理的でグローバルな定式化を構築すること。
• 完全な二次計画法（QP）を直接解くのは計算的に非現実的であるため、それを効率的な部分問題に分解すること。
• QPの目的関数を用いて、クラスタ数（すなわち人物数）をロバストに決定することで、ヒューリスティックな選択や手動による調整を回避すること。
• 遮蔽や高密度な歩行者環境といった困難な状況下でも、トラッキング精度を向上させ、IDスイッチを低減すること。

提案手法

• 時間的特徴リンクと空間的グループ化を統合的に最適化する、線形制約付きの単一の二次計画法（QP）としてマルチターゲットトラッキングを定式化。
• QPを2つの部分問題に分解：時間的関連付けは、最適かつ効率的なトラックレット生成のための線形計画法（LP）緩和により解く。
• 空間的関連付けにはスペクトルクラスタリングを用い、クラスタ数はQPの目的関数によって決定することで、ロバスト性を確保。
• 構造的および運動的情報を活用するため、検出結果（ミドルレベル）と高密度点トラックレット（ローレベル）を入力特徴として統合。
• 2段階の近似を適用：まず時間的LPを解いてトラックレットを生成し、次にQPコストから導出されるアフィニティ行列を用いたスペクトルクラスタリングにより、トラックレットを個体にグループ化。
• 最適なクラスタ数の選択基準として、完全なQP目的関数を活用することで、ヒューリスティックや外部推定の必要性を排除。

実験結果

リサーチクエスチョン

• RQ1 低レベルの運動情報（高密度点トラック）とミドルレベルの検出情報（ボクシングボックス）を統合する統一的でグローバルな最適化フレームワークは、複数人トラッキングにおいて有効に機能するか？
• RQ2 NP-hardなQPを時間的関連付けに線形計画法、空間的グループ化にスペクトルクラスタリングに分解することで、計算的に実行可能かつ高精度な解が得られるか？
• RQ3 QPの目的関数を用いて、人物数（クラスタ数）を自動的かつロバストに決定できるか？ヒューリスティックなクラスタ数選択を上回る性能を発揮するか？
• RQ4 混雑で遮蔽の多いシーンにおいて、本手法は最先端のトラッキング・バイ・検出法および低レベル特徴法と比較して、精度、IDスイッチ数、軌道安定性の観点で優れているか？
• RQ5 MOTChallenge や ETH-Jelmoli といった困難なベンチマークにおいて、マルチレベル特徴の統合がトラッキング性能をどの程度向上させるか？

主な発見

• PETS09ベンチマークでは、本手法が37.9%のトラッキング精度（TA）を達成し、LP2D（19.8%）や他のトラッキング・バイ・検出法を上回った。IDスイッチ数は414であり、LP2Dの1649に比べ顕著に低い。
• AVG-TownCentreシーケンスでは、64.2%のTAと89.3%の精度を達成し、LP2D（61.6% TA、89.3%精度）およびBenfoldら（58.6% TA）を上回る精度とIDスイッチの低減を実現。
• MOTChallengeテストセットでは、27.5%のTAと70.6%のTPを達成し、LP2D（19.8% TA、71.2% TP）を約8ポイント上回る精度を実現。IDスイッチ数も半分以下に削減。
• PETS09ではIDスイッチ数414、AVG-TownCentreでは231と、LP2D（1649および245）と比較して顕著に低い。軌道の安定性に優れていることが示された。
• QP目的関数を用いてクラスタ数を決定することで、外部ヒューリスティクスや手動チューニングを必要とせず、ロバストかつ正確なクラスタ選択が可能となった。
• トラジェクトリ後処理なしでMOTChallengeで最先端の性能を達成。マルチレベル特徴統合の有効性が裏付けられた。