[論文レビュー] Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking

Yunzhong Hou, Liang Zheng+2 more|arXiv (Cornell University)|Nov 27, 2019

Video Surveillance and Tracking Methods参考文献 55被引用数 16

ひとこと要約

本稿では、局所的にサンプリングされたデータ（単一カメラ追跡では連続フレーム、複数カメラ追跡では隣接カメラ）を用いてトレーニングする、局所性に配慮した外観マトリクス（LAAM）を提案する。このアプローチにより、DukeMTMCでは最先端性能を達成し、CityFlowでも顕著な向上を示す。特に、グローバルにトレーニングされたre-ID特徴量に比べて、局所的なマッチング状況下で優れた性能を発揮する。

ABSTRACT

Multi-target multi-camera tracking (MTMCT) systems track targets across cameras. Due to the continuity of target trajectories, tracking systems usually restrict their data association within a local neighborhood. In single camera tracking, local neighborhood refers to consecutive frames; in multi-camera tracking, it refers to neighboring cameras that the target may appear successively. For similarity estimation, tracking systems often adopt appearance features learned from the re-identification (re-ID) perspective. Different from tracking, re-ID usually does not have access to the trajectory cues that can limit the search space to a local neighborhood. Due to its global matching property, the re-ID perspective requires to learn global appearance features. We argue that the mismatch between the local matching procedure in tracking and the global nature of re-ID appearance features may compromise MTMCT performance. To fit the local matching procedure in MTMCT, in this work, we introduce locality aware appearance metric (LAAM). Specifically, we design an intra-camera metric for single camera tracking, and an inter-camera metric for multi-camera tracking. Both metrics are trained with data pairs sampled from their corresponding local neighborhoods, as opposed to global sampling in the re-ID perspective. We show that the locally learned metrics can be successfully applied on top of several globally learned re-ID features. With the proposed method, we report new state-of-the-art performance on the DukeMTMC dataset, and a substantial improvement on the CityFlow dataset.

研究の動機と目的

• マルチターゲットマルチカメラ追跡（MTMCT）におけるグローバルre-ID特徴量と局所的データアソシエーションの不一致を是正すること。
• 単一カメラおよび複数カメラ追跡の局所的近傍制約に適合したマトリクスを設計することで、追跡精度を向上させること。
• 局所的なマッチングに適用した場合、局所的に学習されたマトリクスがグローバルに学習されたre-ID特徴量を上回ることを実証すること。
• LAAMの有効性を複数のデータセットおよびre-ID特徴量バックボーンを用いて検証すること。

提案手法

• 同じカメラ内で連続フレームのトラックレットペアを用いてトレーニングするカメラ内マトリクスを提案。時間的窓を用いる。
• 隣接カメラ間でターゲットが連続的に出現しうるペアを用いてトレーニングするカメラ間マトリクスを導入。空間的・時間的近接性に基づく。
• 標準的なre-IDとは異なり、グローバルなサンプリングではなく、局所的近傍からのみトレーニングペアをサンプリングする。
• バックボーンの微調整なしに、事前にグローバルにトレーニングされたre-ID特徴量（例：IDE、PCB、トリプレット）に上書きして局所的にトレーニングされたマトリクスを適用する。
• トラックレット間の類似度スコアを計算するための3層構造のマトリクスネットワークを採用。トレーニングは局所的マッチング性能最適化を目的とする。
• スライディングウインドウ戦略を用いて局所的近傍を定義。最適なウインドウサイズはカメラ内で600フレーム、カメラ間で2,400フレーム。

実験結果

リサーチクエスチョン

• RQ1 グローバルにトレーニングされたre-ID特徴量と比較して、局所的データペアを用いて外観マトリクスをトレーニングすることで、マルチターゲットマルチカメラ追跡性能が向上するか？
• RQ2 局所的なマッチングに特化した局所性に配慮したマトリクスは、制限された探索空間を持つ追跡シナリオで、標準的なグローバルre-ID特徴量を上回るか？
• RQ3 LAAMの性能は、異なるre-ID特徴量バックボーンおよびデータセットでどのように変化するか？
• RQ4 MTMCTにおけるカメラ内およびカメラ間マトリクス学習の最適なサンプリングウインドウサイズは何か？

主な発見

• DukeMTMCデータセットでは、単一カメラ追跡（SCT）で92.5%のIDF1、マルチカメラ追跡（MCT）のエイジリーセットで88.6%のIDF1を達成し、新記録を樹立した。
• DukeMTMCのハードテストセットでは、SCTで85.8%のIDF1、MCTで82.3%のIDF1を達成し、2番目に優れた手法に比べてそれぞれ+4.6%、+8.3%の向上を示した。
• CityFlowデータセットでは、ベースラインから顕著な改善を示し、さまざまな追跡シナリオに強く一般化していることが確認された。
• アブレーションスタディにより、カメラ内およびカメラ間マトリクスがそれぞれの追跡段階で最も効果的であることが確認され、逆に使用すると性能が著しく低下した。
• 最適なサンプリングウインドウサイズは、カメラ内が600フレーム、カメラ間が2,400フレームであり、十分なトレーニングデータと局所性のバランスが取れている。
• 推論時間に5%の増加があるものの、マッチング精度の向上により、特に複雑なMCTシナリオにおいて、全体のデータアソシエーションコストが削減された。