[論文レビュー] SFSORT: Scene Features-based Simple Online Real-Time Tracker

Mohammad Morsali, Zeinab Sharifi+4 more|arXiv (Cornell University)|Apr 11, 2024

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

SFSORTは、カルマンフィルタを新しいバウンディングボックス類似度インデックスコスト関数に置き換え、シーン特徴を活用することで、トラッキング連携を最適化した世界最速のマルチオブジェクトトラッカーである。MOT17では2242 Hz、MOT20では304 Hzを達成し、MOT17で61.7%、MOT20で60.9%のSOTA HOTAスコアを記録しながら、CPUオンliyシステムでもリアルタイム性能を維持している。

ABSTRACT

This paper introduces SFSORT, the world's fastest multi-object tracking system based on experiments conducted on MOT Challenge datasets. To achieve an accurate and computationally efficient tracker, this paper employs a tracking-by-detection method, following the online real-time tracking approach established in prior literature. By introducing a novel cost function called the Bounding Box Similarity Index, this work eliminates the Kalman Filter, leading to reduced computational requirements. Additionally, this paper demonstrates the impact of scene features on enhancing object-track association and improving track post-processing. Using a 2.2 GHz Intel Xeon CPU, the proposed method achieves an HOTA of 61.7\% with a processing speed of 2242 Hz on the MOT17 dataset and an HOTA of 60.9\% with a processing speed of 304 Hz on the MOT20 dataset. The tracker's source code, fine-tuned object detection model, and tutorials are available at \url{https://github.com/gitmehrdad/SFSORT}.

研究の動機と目的

• エッジおよびクラウドプラットフォームに適したリアルタイムで計算効率の良いマルチオブジェクト追跡システムの開発。
• トラッキング・バイ・ディテクションにおいてカルマンフィルタを排除することで、計算オーヘッドを低減し、速度を向上。
• オブジェクトトラック連携にシーン特徴を統合することで、追跡の正確性と頑健性を向上。
• MOT17やMOT20などの標準MOTベンチマークで、速度と正確性の両面でSOTA性能を達成。
• 生フレームの保存を避けることで、プライバシー保護型の追跡を実現。

提案手法

• オブジェクト連携に従来のIoUベースの指標に代わる新しいコスト関数「バウンディングボックス類似度インデックス」を提案。
• 動きのモデル化にシーン特徴とバウンディングボックスの幾何学的性質に依存することで、カルマンフィルタを完全に排除。
• 動画背景から抽出したシーン特徴を活用し、オブジェクトトラック連携を向上させ、IDスイッチを低減。
• 新コスト関数を用いたハンガリアン法を用いた最適割り当てを実行するトラッキング・バイ・ディテクションフレームワークを採用。
• トラック品質の最適化と断片化の低減を目的とした後処理ヒューリスティクスを統合。
• 同一のハードウェア条件下でハイパーパramータチューニングのための遺伝的アルゴリズムを用いてトラッカー性能を最適化。

実験結果

リサーチクエスチョン

• RQ1 カルマンフィルタやディープな外観特徴を一切使用せずに、マルチオブジェクトトラッカーがSOTAの速度を達成できるか？
• RQ2 シーン特徴は、複雑または混雑したシーンにおいて追跡の正確性と安定性にどのように影響を与えるか？
• RQ3 新規のバウンディングボックス類似度メトリクスは、IoUおよびその変種を上回る正確性と計算効率を達成できるか？
• RQ4 GPUアクセcelerationなしで、標準的および混雑なMOTベンチマークにおいて、リアルタイム性能（≥30 Hz）を達成できるか？
• RQ5 生フレームに依存しないバウンディングボックスとシーンレベルの情報のみに依存することで、高精度な追跡を維持できるか？

主な発見

• SFSORTは2.2 GHzのIntel Xeon CPUを用いてMOT17データセットで2242 Hzの処理速度を達成し、これまで報告された中で最も高速なトラッカーである。
• MOT17ではHOTAスコア61.7%を達成し、MOTAやIDF1などの正確性指標において、他のすべてのリアルタイムトラッカーを上回っている。
• より挑戦的なMOT20データセットでは、304 Hzの速度と60.9%のHOTAスコアを達成し、速度と正確性の両面で、他のすべてのリアルタイムトラッカーを上回っている。
• シーン特徴の導入によりトラッカーの性能が顕著に向上し、オブジェクトトラック連携が改善され、IDスイッチが低減している。
• SFSORTは、MOT17およびMOT20の両方で30 Hzを超える唯一のトラッカーであり、MOT20では次の速いトラッカーのおよそ10倍速い。
• トラッカーのソースコード、最適化済みYOLOv8検出器、およびチュートリアルは、https://github.com/gitmehrdad/SFSORT で公開されている。