[論文レビュー] Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification

Gerard Maggiolino, Adnan Ahmad+2 more|arXiv (Cornell University)|Feb 23, 2023

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

Deep OC-SORT は適応的外観手がかけを動作ベースの OC-SORT 基盤と統合し、MOT17、MOT20、DanceTrack で最先端の HOTA スコアを達成しつつオンラインのままです。

ABSTRACT

Motion-based association for Multi-Object Tracking (MOT) has recently re-achieved prominence with the rise of powerful object detectors. Despite this, little work has been done to incorporate appearance cues beyond simple heuristic models that lack robustness to feature degradation. In this paper, we propose a novel way to leverage objects' appearances to adaptively integrate appearance matching into existing high-performance motion-based methods. Building upon the pure motion-based method OC-SORT, we achieve 1st place on MOT20 and 2nd place on MOT17 with 63.9 and 64.9 HOTA, respectively. We also achieve 61.3 HOTA on the challenging DanceTrack benchmark as a new state-of-the-art even compared to more heavily-designed methods. The code and models are available at \url{https://github.com/GerardMaggiolino/Deep-OC-SORT}.

研究の動機と目的

• 実用的なヒューリスティックを超えた外観情報を効果的に取り入れることで、堅牢なマルチオブジェクト追跡を動機付ける。
• 適応的外観、カメラ運動補償、および重み付き外観マッチングを取り入れて OC-SORT を拡張する。
• 同一の検出を用いて、難易度の高いベンチマークでオンラインの性能向上を示す。
• 将来の研究のために、運動モデルと外観情報を調和させる再利用可能なベースラインを提供する。

提案手法

• OC-SORT に Camera Motion Compensation (CMC) を追加して、動くカメラ下で状態を整合させる。
• 検出器の信頼度を用いてフレームごとに EMA 外観更新を行い、Dynamic Appearance (DA) を導入する。
• 軌跡と検出の識別性に基づいて外観類似性を重み付けする Adaptive Weighting (AW) を開発。
• データ連携コスト行列で IoU と組み合わせた重み付き外観コストを使用してマッチングを改善。
• カルマン外挿の前にCMC更新を適用して、運動予測がカメラ補正済みの状態から始まるようにする。
• alpha_f = 0.95 の一定 EMA ベースラインを採用し、alpha_t は検出器信頼度 s_det としきい値 sigma の関数として計算する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽やブラー下で、ハイパーパラメータを追加せずに適応的なフレームごとの外観更新が追跡の頑健性を向上させるか？
• RQ2 Turn-key motion models を用いたカメラ運動補償の統合は、標準的な MOT および DanceTrack ベンチマークで計測可能な利得を生むか？
• RQ3 オンライン MOT におけるデータ連携のための、識別的で適応的な外観手がかりの重み付けはどの程度効果的か？
• RQ4 同一検出器を用いた純オンライン設定で、外観と動作の組み合わせが性能に与える影響はどの程度か？
• RQ5 提案された Deep OC-SORT アプローチは、今後の MOT における外観-動作融合のより強力なベースラインとなるか？

主な発見

• Deep OC-SORT は MOT17-test で 64.9 HOTA、MOT20-test で 63.9 HOTA、DanceTrack-test で 61.3 HOTA を達成し、従来のオンライン手法を上回った。
• MOT17 および MOT20 で、Deep OC-SORT は OC-SORT や ByteTrack を含むいくつかのベースラインを上回り、オンラインのままオフライン後処理なしで実現。
• Dynamic appearance および Adaptive weighting は MOT17、MOT20、DanceTrack の HOTA、AssA、IDF1 を Ablation で一貫して改善。
• Camera Motion Compensation (CMC) は MOT17 と DanceTrack で利得をもたらし、静止カメラの MOT20 では利益が少ない。
• 適応型外観フレームワークは EMA および検出器のしきい値に関する新しいハイパーパラメータを導入せず、それでも顕著な性能向上をもたらす。