[論文レビュー] Multi-target multi-camera vehicle tracking using transformer-based camera link model and spatial-temporal information

Hsiang-Wei Huang, Yang, Cheng-Yen+1 more|arXiv (Cornell University)|Jan 18, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、空間的・時間的フィルタリングを統合したトランスフォーマー基盤のカメラリンクモデルを提案し、マルチターゲットマルチカメラ車両追跡（MTMCT）の性能を向上させている。時間的および方向マスクと双方向遷移時間窓を活用することで、クロスカメラ連携の探索空間を顕著に削減し、CityFlowV2ベンチマークで73.68%のIDF1スコアを達成した。これは2020年AIシティチャレンジの全チームを上回り、2021年には上位にランクインした。

ABSTRACT

Multi-target multi-camera tracking (MTMCT) of vehicles, i.e. tracking vehicles across multiple cameras, is a crucial application for the development of smart city and intelligent traffic system. The main challenges of MTMCT of vehicles include the intra-class variability of the same vehicle and inter-class similarity between different vehicles and how to associate the same vehicle accurately across different cameras under large search space. Previous methods for MTMCT usually use hierarchical clustering of trajectories to conduct cross camera association. However, the search space can be large and does not take spatial and temporal information into consideration. In this paper, we proposed a transformer-based camera link model with spatial and temporal filtering to conduct cross camera tracking. Achieving 73.68% IDF1 on the Nvidia Cityflow V2 dataset test set, showing the effectiveness of our camera link model on multi-target multi-camera tracking.

研究の動機と目的

• マルチターゲットマルチカメラ車両追跡（MTMCT）における大規模な探索空間、クラス内変動、クラス間類似性の課題に対処すること。
• カメラリンクモデルに空間的および時間的制約を組み込むことで、クロスカメラ連携の正確性を向上させること。
• 運動方向と遷移時間窓を用いた候補マッチのフィルタリングにより、Re-IDにおける誤検出を低減すること。
• トランスフォーマー基盤の特徴抽出を活用し、車両再識別におけるより判別性の高い外観特徴を獲得すること。
• 統合されたトラッキングフレームワークに空間的・時間的事前知識を統合することで、従来の階層的クラスタリングベースの手法を上回ること。

提案手法

• 自己注意機構を活用し、ダウンサンプリングを行わずに長距離依存性を捉えることで、判別性の高い外観特徴を抽出するトランスフォーマー基盤のRe-IDモデルを採用。
• 車両の移動方向と時間的一致性に基づき、不適切なクロスカメラ連携をフィルタリングするため、時間的および方向マスクを適用。
• 隣接カメラ間で車両が出現できる時間窓を制限するため、双方向遷移時間窓（BTT）を導入し、候補マッチを削減。
• カメラリンクモデルでは、外観特徴間のコサイン距離を用いてトラジェクトリを関連付け、類似度の閾値を0.45、トラジェクトリ長のフィルタリングを2～2000フレームに設定。
• 単一カメラ追跡（SCT）をSORTに類似したアプローチで実行し、外観と運動の手がかりを統合。その後、トランスフォーマー強化Re-IDとカメラリンクモデルにおける空間的・時間的フィルタリングを実施。
• Re-ID学習時に、色正規化、ランダムクロップ、ランダムフィップなどのデータ拡張技術を適用し、耐性を向上。

Figure 1: The framework of the transformer-based ReID model from [ 3 ] . The BNNeck is introduced inspired by [ 11 ] .

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルと比較して、トランスフォーマー基盤のRe-IDモデルは、マルチカメラ車両追跡における外観特徴の判別性を向上させることができるか？
• RQ2 空間的・時間的フィルタリングを組み込むことで、MTMCTにおけるクロスカメラ連携の探索空間はどの程度削減されるか？
• RQ3 時間的および方向マスクは、マルチカメラ車両追跡におけるIDF1にどの程度の向上効果をもたらすか？
• RQ4 双方向遷移時間窓を導入することで、車両ネットワーク全体の動きをモデル化し、連携精度をさらに向上させることができるか？
• RQ5 提案されたカメラリンクモデルは、階層的クラスタリングベースのベースラインと比較して、実世界のデータセットにおけるIDF1と耐性の面で優れているか？

主な発見

• 提案手法は、CityFlowV2テストセットで73.68%のIDF1スコアを達成し、ベースライン手法（34.74% IDF1）を顕著に上回った。
• 時間的および方向マスク（TDM）の追加により、IDF1が22.35ポイント向上し、空間的・時間的フィルタリングの有効性が裏付けられた。
• 双方向遷移時間窓（BTT）の統合により、ベースラインからさらに26.59ポイントのIDF1向上が達成され、最先端の性能を実現した。
• 2020年AIシティチャレンジの都市規模MTMC車両追跡トラックでは、本システムが全チームを上回り、IDF1 73.68%を達成した（2位チームは45.85%）。
• 2021年AIシティチャレンジでは、IDF1 73.68%で全体で4位にランクインし、上位3チームに次ぐ成績を収めた。
• アブレーションスタディにより、空間的・時間的フィルタリングが誤検出の関連付けを顕著に削減し、最終システムのID精度（67.73%）とID再現率（80.77%）の向上に寄与していることが確認された。

Figure 2: Vehicles detected entering the intersection while the traffic light is red will be matched with trajectories in the current camera. On the other hand, vehicles leaving the camera’s field of view through the green traffic zone will be matched with trajectories in the next adjacent camera.