[論文レビュー] Hybrid-SORT: Weak Cues Matter for Online Multi-Object Tracking

Mingzhan Yang, Guangxin Han+5 more|arXiv (Cornell University)|Aug 1, 2023

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本稿では、空間的および外観的特徴に加え、弱い特徴（信頼度状態、高さ状態、速度方向）を組み込むことで、追跡精度を向上させるシンプルでオンラインかつリアルタイムなマルチオブジェクト追跡手法、Hybrid-SORTを提案する。Tracklet Confidence Modeling (TCM) と Height Modulated IoU (HMIoU) を導入することで、遮蔽やクラスタリング下での関連付け性能が顕著に向上し、MOT17、MOT20、特にDanceTrackで最先端の結果を達成。プラグアンドプレイかつトレーニング不要な設計により、5種類の多様なトラッカーにおいて一貫した向上効果を示した。

ABSTRACT

Multi-Object Tracking (MOT) aims to detect and associate all desired objects across frames. Most methods accomplish the task by explicitly or implicitly leveraging strong cues (i.e., spatial and appearance information), which exhibit powerful instance-level discrimination. However, when object occlusion and clustering occur, spatial and appearance information will become ambiguous simultaneously due to the high overlap among objects. In this paper, we demonstrate this long-standing challenge in MOT can be efficiently and effectively resolved by incorporating weak cues to compensate for strong cues. Along with velocity direction, we introduce the confidence and height state as potential weak cues. With superior performance, our method still maintains Simple, Online and Real-Time (SORT) characteristics. Also, our method shows strong generalization for diverse trackers and scenarios in a plug-and-play and training-free manner. Significant and consistent improvements are observed when applying our method to 5 different representative trackers. Further, with both strong and weak cues, our method Hybrid-SORT achieves superior performance on diverse benchmarks, including MOT17, MOT20, and especially DanceTrack where interaction and severe occlusion frequently happen with complex motions. The code and models are available at https://github.com/ymzis69/HybridSORT.

研究の動機と目的

• 遮蔽やオブジェクトのクラスタリング下で、空間的および外観的特徴といった強い特徴が劣化するマルチオブジェクト追跡（MOT）における継続的課題に対処する。
• これまで軽視されてきた弱い特徴（信頼度状態、高さ状態、速度方向）が、こうした状況下で曇りやすい強い特徴を補完できるかを調査する。
• 遮蔽や運動の複雑さに対して耐性を高めつつも、Simple, Online, and Real-Time (SORT) の特性を維持する手法を設計する。
• 再トレーニングやアーキテクチャの変更なしに、多様なトラッカーとベンチマークに一般化することを実証する。
• 既存のトラッカーを最小限の計算コストで強化できる、プラグアンドプレイかつトレーニング不要なソリューションを開発する。

提案手法

• トラックレットの信頼度状態を推定するための Tracklet Confidence Modeling (TCM) を導入。カルマンフィルタと線形予測を用い、遮蔽／遮蔽済み関係に基づく信頼性の高い関連付けを可能にする。
• 標準的なIoUに、カルマンフィルタで推定された高さ状態から導出される高さ軸方向のIoU行列を融合する Height Modulated IoU (HMIoU) を提案。これにより、密集したシーンにおける関連付けの耐性が向上する。
• ボックスの中心からコーナーへ拡張された観測中心モーメンタム（OCM）機構を強化し、複数の時間間隔をサポートするようにすることで、速度方向を効果的にモデル化する。
• ByteTrackにインspiredされた、低信頼度検出のための追加関連付けステージを統合し、遮蔽または曇りやすいオブジェクトの追跡を改善する。
• TCMとHMIoUをプラグインモジュールとして、SORT、DeepSORT、MOTDT、ByteTrack、OC-SORTの5つの代表的トラッカーに適用。互換性と一貫した向上効果を実証した。
• カルマンフィルタを用いて高さ状態と信頼度状態をモデル化。ポーズの変化や部分的遮蔽があっても、時間的連続性を活用して安定した推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽やクラスタリングによって生じるオブジェクト関連付けの曇りを、信頼度状態、高さ状態、速度方向といった弱い特徴が効果的に緩和できるか？
• RQ2 弱い特徴を、シンプルさ、オンライン性、リアルタイム性能を損なわず、既存のSORTに似たトラッカーに統合するにはどうすればよいか？
• RQ3 弱い特徴は、特に深刻な遮蔽や複雑な運動が生じるような状況下でも、多様なベンチマークで追跡性能をどの程度向上できるか？
• RQ4 本手法は、空間的情報のみに依存するトラッカー、あるいは外観特徴を用いるトラッカーを含め、異なるアーキテクチャのトラッカーに対しても一般化可能か？
• RQ5 弱い特徴の統合を、再トレーニングなしにプラグアンドプレイかつトレーニング不要な形で実現できるか？

主な発見

• Hybrid-SORTはDanceTrackベンチマークで51.80のHOTAスコアを達成し、ベースラインのOC-SORTや他のトラッカーを大きく上回った。
• MOT17では66.52のHOTAを達成し、ベースライン比0.2の向上を示した。これは、中程度の課題下でも一貫した向上を示している。
• Tracklet Confidence Modeling (TCM) の効果は、DanceTrackでDeepSORTを4.9 HOTA向上、MOT17で0.9 HOTA向上させ、多様なトラッカーに有効であることを確認した。
• Height Modulated IoU (HMIoU) の効果は、DanceTrackでSORTを1.6 HOTA向上、MOT17で1.0 HOTA向上させ、高さに基づくコスト統合が関連付け精度を向上させることを示した。
• 幅に基づく変種（WMIoU）は性能が低下したのに対し、HMIoUは優れた性能を示した。これは、時間的ダイナミクスが一貫しており、高さが幅よりも安定的かつ情報量が多い弱い特徴であることを裏付けた。
• SORT、DeepSORT、MOTDT、ByteTrack、OC-SORTの5つの多様なトラッカーに一般化され、すべてのケースで一貫した顕著な向上を示した。これにより、プラグアンドプレイかつトレーニング不要な設計の有効性が検証された。