[論文レビュー] BoT-SORT: Robust Associations Multi-Pedestrian Tracking

Nir Aharon, Roy Orfaig+1 more|arXiv (Cornell University)|Jun 29, 2022

Video Surveillance and Tracking Methods被引用数 308

ひとこと要約

BoT-SORT はカメラ動作補償と洗練されたカルマンフィルタ状態および IoU-ReID 融合を導入し、MOT17/20 で最先端のマルチペデストリアン追跡を実現。従来のトラッカーよりも MOTA、IDF1、HOTA の指標で上回る。

ABSTRACT

The goal of multi-object tracking (MOT) is detecting and tracking all the objects in a scene, while keeping a unique identifier for each object. In this paper, we present a new robust state-of-the-art tracker, which can combine the advantages of motion and appearance information, along with camera-motion compensation, and a more accurate Kalman filter state vector. Our new trackers BoT-SORT, and BoT-SORT-ReID rank first in the datasets of MOTChallenge [29, 11] on both MOT17 and MOT20 test sets, in terms of all the main MOT metrics: MOTA, IDF1, and HOTA. For MOT17: 80.5 MOTA, 80.2 IDF1, and 65.0 HOTA are achieved. The source code and the pre-trained models are available at https://github.com/NirAharon/BOT-SORT

研究の動機と目的

• 動作、外観、カメラ動作補償を統合して動的シーンを扱い、マルチオブジェクト追跡を改善する。
• バウンディングボックスの局在化を改善するためのロバストなカルマンフィルタ状態ベクトルを開発する。
• IoU ベースのモーション手がかりと Re-ID 外観特徴を融合して頑健なデータ同定を行う。

提案手法

• 中心坐標、幅、高さ、およびそれらの速度を捉える改良された状態ベクトルを持つカルマンフィルタを使用する（x_c, y_c, w, h, ẋ_c, ẏ_c, ẇ, ḣ）。
• アフィン変換による画像レジストレーションを用いてカメラ動作補償 (CMC) を組み込み、背景動作を推定しKF予測を調整する。
• 新しい IoU-ReID 融合コストを導入し、まず近接マスキングを適用してから IoU 距離と洗練されたコサイン距離の最小値をとり、しきい値 θ_iou と θ_emb で制御する。
• 追跡子の外観特徴 fi^k を e_i^k に安定化させるために EMA 更新を導入し、高信頼度検出フィルターを使用する。
• 最初のアソシエーションステップでハンガリアン割り当てに使用されるコスト行列 C に動作 (IoU) と外観 (コサイン) の手がかりを組み合わせる。
• オンライン TB (BoT-SORT) と ReID 拡張版 (BoT-SORT-ReID) を ByteTrack フレームワークへシンプルだが効果的に統合する。

実験結果

リサーチクエスチョン

• RQ1 MOT における追跡子と検出の結合を改善するためにカメラの動きをどのように効果的に補償できるか？
• RQ2 洗練されたカルマンフィルタ状態ベクトルは bounding box の局在化と全体の追跡指標を改善するか？
• RQ3 IoU ベースのモーション手がかりを Re-ID 特徴と効果的に融合してデータ同定を高速性を損なうことなく強化できるか？
• RQ4 群衆シーンにおける外観統合による EMA レポート特徴がアイデンティティ保持に与える影響は？

主な発見

トラッカー	MOTA↑	IDF1↑	HOTA↑	FP↓	FN↓	IDs↓	FPS↑
BoT-SORT (ours)	80.6	79.5	64.6	22524	85398	1257	6.6
BoT-SORT-ReID (ours)	80.5	80.2	65.0	22521	86037	1212	4.5

• BoT-SORT および BoT-SORT-ReID は MOT17 および MOT20 のテストセットでトップ指標を達成し、リーダーボードで MOTA、IDF1、HOTA の1位にランク付けされる。
• MOT17 テストセットでは BoT-SORT は MOTA 80.6、IDF1 79.5、HOTA 64.6、ID 1257、6.6 FPS。
• BoT-SORT-ReID は MOTA 80.5、IDF1 80.2、HOTA 65.0、ID 1212、4.5 FPS。
• アブレーションは KF、CMC、ReID コンポーネントを追加することで MOTA、IDF1、HOTA が段階的に改善され、BoT-SORT の全構成が最良となる。
• マスクニングを伴う IoU-ReID 融合（近接閾値） は MOT17 バリデーションで個別の IoU や Cosine 戦略を上回る。
• 本論文はまた追跡失敗解析のための時系列 MOTA 指標である cMOTA も導入している。