[論文レビュー] Real-Time Multiple Object Tracking - A Study on the Importance of Speed

Samuel Murray|arXiv (Cornell University)|Sep 11, 2017

Video Surveillance and Tracking Methods参考文献 6被引用数 30

ひとこと要約

本稿では、動き予測とハンガリアン法による関連付けを用い、3つのバウンディングボックスベースの類似度測定を組み合わせた、トラッキング・バイ・検出パラダイムに基づくリアルタイム複数オブジェクトトラッカーC++SORTを提案する。実時間性能を達成するためにフレームを飛ばすことで、Okutama-Actionデータセットでは最大90%の精度低下を引き起こすことが示され、実世界への展開における標準的なベンチマーク指標の妥当性に疑問を呈する。

ABSTRACT

In this project, we implement a multiple object tracker, following the tracking-by-detection paradigm, as an extension of an existing method. It works by modelling the movement of objects by solving the filtering problem, and associating detections with predicted new locations in new frames using the Hungarian algorithm. Three different similarity measures are used, which use the location and shape of the bounding boxes. Compared to other trackers on the MOTChallenge leaderboard, our method, referred to as C++SORT, is the fastest non-anonymous submission, while also achieving decent score on other metrics. By running our model on the Okutama-Action dataset, sampled at different frame-rates, we show that the performance is greatly reduced when running the model - including detecting objects - in real-time. In most metrics, the score is reduced by 50%, but in certain cases as much as 90%. We argue that this indicates that other, slower methods could not be used for tracking in real-time, but that more research is required specifically on this.

研究の動機と目的

• ロボット工学や監視分野におけるリアルタイム応用に適した高速で競争力のある複数オブジェクトトラッカーの開発。
• 動画フレームレートに合わせてフレームを飛ばすことでトラッカーの速度を調整する場合、リアルタイムトラッキングが可能かどうかの調査。
• 特に検出とトラッキングが同じハードウェア上で統合されている場合に、フレームレートの低下がトラッキング性能に与える影響の評価。
• 検出時間を含まないトラッカー速度の測定慣行を疑問視し、それが実世界の性能を歪めていると主張。
• 低フレームレートによる性能低下を強調し、リアルタイムトラッキングに焦点を当てた新しいベンチマークの必要性を提唱。

提案手法

• C++SORTは、定常速度運動モデルを用いて次フレームのオブジェクト位置を予測することで、SORTアルゴリズムを拡張する。
• 位置と形状の類似度に基づいてコスト行列を計算し、ハンガリアン法を用いて検出結果と予測トラックを関連付ける。
• 3つの類似度測定が実装されている：IoU（重複領域比）、アスペクト比を考慮したIoU、およびIoUとアスペクト比の組み合わせ。
• トラッキング・バイ・検出フレームワークに従い、オブジェクト検出結果をフレームごとに逐次処理する。
• リアルタイム動作をシミュレートするために、動画をトラッカーの処理レートに合わせてダウンサンプリングし、Okutama-Actionデータセット上で性能を評価する。
• フレームレートを変化させた状態で、検出とトラッキングのフルパイプライン実行を評価し、実世界の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 フレームを飛ばすことで動画フレームレートに合わせた速度調整を行う場合、C++SORTのような高速トラッカーはリアルタイム性能を達成できるか？
• RQ2 検出とトラッキングを低フレームレートでリアルタイムで実行した場合、性能はどの程度低下するか？
• RQ3 速度ベンチマークで検出時間を無視するという慣行が、実世界のトラッカー性能をどの程度歪めているか？
• RQ4 低フレームレートでの性能低下は、トラッカーの設計由来か、それとも検出品質の問題か？
• RQ5 外観特徴を用いることで、低フレームレート下での性能損失を緩和できるか、それとも構造的な問題か？

主な発見

• C++SORTはMOTChallengeのリーダーボードで非匿名トラッカー中最も高速であり、高い速度性能を示した。
• Okutama-Actionデータセットでフレームを飛ばしてリアルタイムで動作させた場合、特定の指標で最大90%の性能低下が生じた。
• 平均して、ほとんどの指標で約50%の性能低下が観察された。
• 本研究では、フレームスキップなしでフルフレームレートで測定された標準ベンチマーク結果が、実世界のリアルタイム性能を代表していないことが明らかになった。
• 性能低下の主な要因は、フレームスキップによって生じる時間的情報の損失であり、これはトラック関連付けと継続性に影響を与える。
• 結果から、低フレームレートに最適化されないか、効率的な検出パイプラインと統合されていないと、遅いが高精度なトラッカーはリアルタイム用途には実用的でない可能性がある。