[論文レビュー] Online and Real-Time Tracking in a Surveillance Scenario

Oliver Urbann, Oliver Bredtmann+4 more|arXiv (Cornell University)|Jun 2, 2021

Video Surveillance and Tracking Methods参考文献 9被引用数 10

ひとこと要約

本論文では、線形実行時間計算量を備えた高速シアンプスネットワークを用いた、監視シナリオ向けのリアルタイムでオンラインなマルチオブジェクト追跡手法LTSiamを提案する。特徴マッチングをコサイン類似度に再定式化し、バッチ推論用に検出結果をバッファリングすることで、MOT20でHOTA（68.1）、MOTA（67.3）、IDF1（71.4）の最先端性能を達成。他のリアルタイムトラッカーを上回りながら、1フレームあたり30ms未満の推論時間を維持している。

ABSTRACT

This paper presents an approach for tracking in a surveillance scenario. Typical aspects for this scenario are a 24/7 operation with a static camera mounted above the height of a human with many objects or people. The Multiple Object Tracking Benchmark 20 (MOT20) reflects this scenario best. We can show that our approach is real-time capable on this benchmark and outperforms all other real-time capable approaches in HOTA, MOTA, and IDF1. We achieve this by contributing a fast Siamese network reformulated for linear runtime (instead of quadratic) to generate fingerprints from detections. Thus, it is possible to associate the detections to Kalman filters based on multiple tracking specific ratings: Cosine similarity of fingerprints, Intersection over Union, and pixel distance ratio in the image.

研究の動機と目的

• 24時間体制の監視に適した、リアルタイムでオンラインなマルチオブジェクト追跡システムの開発。
• 従来のシアンプスネットワークが追跡連携において直面する2次時間計算量のボトルネックの克服。
• 動きのあるカメラデータに依存せずに、混雑したシーンでの追跡精度の向上。
• 既存のリアルタイムトラッカーを上回る性能を維持しながら、リアルタイム性能を確保。
• 特徴抽出と連携計算を分離することで、効率的でスケーラブルな推論を実現。

提案手法

• トラッキングごとにカルマンフィルタを用い、IoU、ピクセル距離比、シアンプス指紋のコサイン類似度を組み合わせたコスト行列により検出結果を割り当てる。
• LTSiamは、VGG16バックボーンと、特徴を100次元に圧縮する2つの全結合層を備えたシアンプスCNNであり、高速なコサイン類似度計算を可能にする。
• ネットワークは、同じ人物の画像パッチ間の類似度を予測するように学習され、140万組のトレーニングペア上で確率的勾配降下法により損失を最小化する。
• 線形計算量を達成するため、指紋は1〜2秒ごとにバッチで事前に計算され、推論とトラッキング更新を分離する。
• コサイン類似度を2乗することで、同一ベクトルと反対ベクトルの両方を類似とみなすようにし、外観変動に対する耐性を向上。
• 検出結果を1〜2秒分バッファリングすることで、GPU推論のオーバーヘッドを隠し、最小限の遅延でオンライン動作を維持。

実験結果

リサーチクエスチョン

• RQ1 マルチオブジェクト追跡において、精度を維持したまま線形計算量を達成できるように、シアンプスネットワークを再構築できるか？
• RQ2 多数の検出結果を伴う高密度な監視シナリオにおいて、リアルタイム性能を維持できるか？
• RQ3 エンドツーエンドの類似度学習を備えたシアンプスネットワークは、従来の外観モデルと比較して追跡の耐性を向上させるか？
• RQ4 オンライン追跡パイプラインにおいて、バッチ推論された指紋を効果的に使用できるか？リアルタイム制約を破らないか？
• RQ5 MOT20ベンチマークにおいて、HOTA、MOTA、IDF1の観点から、提案手法は最先端のリアルタイムトラッカーと比較してどのように差をつけるか？

主な発見

• 提案されたLTSiamトラッカーは、MOT20ベンチマークでHOTA 68.1を達成し、他のすべてのリアルタイム対応トラッカーを上回った。
• トラッカーはMOTA 67.3およびIDF1 71.4を達成し、複数の評価指標において優れた性能を示した。
• 1フレームあたり30ms未満の推論時間でリアルタイム性能を維持し、継続的なオンライン追跡を可能にした。
• バッファリングされたバッチ推論により、GPUのオーバーヘッドが低減され、検出数Mを変数とする線形O(M)の指紋計算量が実現された。
• 2乗されたコサイン類似度損失により、類似および反対の特徴ベクトルが同一アイデンティティを示すとみなされるようになり、外観変動に対する耐性が向上した。
• 非リアルタイムベースラインを上回るHOTAおよびMOTA性能を達成しながらも、リアルタイムで動作し、リアルタイムと非リアルタイムアプローチの性能格差を埋めた。