[論文レビュー] Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking

Ergys Ristani, Francesco Solera+3 more|arXiv (Cornell University)|Sep 6, 2016

Video Surveillance and Tracking Methods参考文献 47被引用数 202

ひとこと要約

tldr: 本論文は identity ベースの MTMC パフォーマンス指標を提案し、大規模な DukeMTMC データセットを導入、エンドツーエンドの性能をベンチマークする参照 MTMC トラッカーを提供します。

ABSTRACT

To help accelerate progress in multi-target, multi-camera tracking systems, we present (i) a new pair of precision-recall measures of performance that treats errors of all types uniformly and emphasizes correct identification over sources of error; (ii) the largest fully-annotated and calibrated data set to date with more than 2 million frames of 1080p, 60fps video taken by 8 cameras observing more than 2,700 identities over 85 minutes; and (iii) a reference software system as a comparison baseline. We show that (i) our measures properly account for bottom-line identity match performance in the multi-camera setting; (ii) our data set poses realistic challenges to current trackers; and (iii) the performance of our system is comparable to the state of the art.

研究の動機と目的

• 計算されたアイデンティティが実際のアイデンティティとカメラ間およびカメラ内でどれだけ一致しているかを評価する、アイデンティティに焦点を当てたパフォーマンス指標を提案する。
• MTMC トラッカーを現実的な屋外環境でストレステストするための大規模で完全に注釈付きのマルチカメラデータセットを提供する。
• 新しい指標とデータセットを用いたエンドツーエンド評価のための参照 MTMC トラッカーとベースラインを提供する。
• 従来のイベントベース指標の限界を示し、真実と結果のアイデンティティマッチングの必要性を動機付ける。

提案手法

• 真実から結果への二部グラフマッチングを用いて frame-level の誤割り当てを最小化することで、ID 精度 (ID precision)・ID リコール (ID recall)・IDF1 を導入する。
• 真実と計算された軌跡の最小コスト二部行列対応を定義し、全カメラにまたがる一対一の ID マッピングを確立する。
• DukeMTMC データセットを開発し、8 台の同期 1080p/60fps カメラ、2,834 のアイデンティティ、2,000,000 フレーム超のキャリブレーションデータを提供する。
• 検出、トラックレット、軌跡を結ぶ多層グラフ・相関クラスタリング・スライディングウィンドウを使用する参照 MTMC トラッカーを提供する。
• 新しい指標とデータセットに対して、既存指標（MOTA/MCTA）と比較し、ID レベルの性能とハンドオーバーのリアリズムを反映する方法を示す。

実験結果

リサーチクエスチョン

• RQ1 従来のイベントベース MTMC 指標は、複数カメラ間の真の ID ベースの追跡性能とどのように一致するのか。
• RQ2 真実から結果への一対一のアイデンティティマッピングは、 fragmentation/merge のカウントより MTMC 追跡品質をより適切に定量化できるのか。
• RQ3 大規模で現実的なマルチカメラデータセットは、現行のトラッカーと指標の限界を露呈するのか。
• RQ4 提案された ID ベース指標で現実的な屋外キャンパスデータセットを用いた基準 MTMC システムの性能はどうなるのか。

主な発見

• ID リコールと ID 精度は fragmentation/merge のカウントと弱く相関しており、イベントベース指標が ID パフォーマンスを過小評価・過大評価していることを示唆する。
• ハンドオーバーエラーは実務では頻繁であり、既存指標では誤割り当てられたフレームに対するペナルティを正確に評価できない可能性がある。提案された指標は誤割り当てられたフレームにより正確なペナルティを割り当てる。
• DukeMTMC データセットには 2,834 のアイデンティティ、8 台のカメラ、2 百万を超えるフレームが含まれ、現実的な MTMC の課題を提示する。
• 参照 MTMC トラッカーは競争力のある性能を達成し、新しい指標とデータセットでの今後の比較のための基準を提供する。
• 提案された指標で評価した場合、従来の MOTA/MCTA-風指標で得られる結果とは異なることが多く、アイデンティティ中心の評価の必要性を強調している。