[論文レビュー] SMOT: Single-Shot Multi Object Tracking

Wei Li, Yuanjun Xiong+3 more|arXiv (Cornell University)|Oct 30, 2020

Video Surveillance and Tracking Methods参考文献 44被引用数 9

ひとこと要約

SMOTは、SSD物体検出と再検出に基づくトラッキングを統合することで、リアルタイムでオンラインでマルチオブジェクトトラッキングを実現する新規なワンショットマルチオブジェクトトラッキングフレームワークである。トラッキングアンカーアサインメントモジュールを導入することで、1フレームあたりの推論速度が一定となり、MOT17、Hannah、MusicVideosで最先端の性能を達成し、転送誤差が低く、精度が高くなる。

ABSTRACT

We present single-shot multi-object tracker (SMOT), a new tracking framework that converts any single-shot detector (SSD) model into an online multiple object tracker, which emphasizes simultaneously detecting and tracking of the object paths. Contrary to the existing tracking by detection approaches which suffer from errors made by the object detectors, SMOT adopts the recently proposed scheme of tracking by re-detection. We combine this scheme with SSD detectors by proposing a novel tracking anchor assignment module. With this design SMOT is able to generate tracklets with a constant per-frame runtime. A light-weighted linkage algorithm is then used for online tracklet linking. On three benchmarks of object tracking: Hannah, Music Videos, and MOT17, the proposed SMOT achieves state-of-the-art performance.

研究の動機と目的

• 従来の3段階トラッキング・バイ・検出パイプラインの限界、すなわち検出器の誤り、隠蔽への感受性、高い誤検出連携誤差を解消すること。
• オブジェクト数に関係なく一定の1フレームあたりの実行時間となる、オンラインでリアルタイムなマルチオブジェクトトラッキングを可能にすること。
• 時間的整合性を活用したトラックレット生成の改善により、複数のオブジェクトを1つのトラックとして誤って追跡する転送誤差（transfer errors）を低減すること。
• 2段階検出器アーキテクチャを必要とせず、ワンショット検出（SSD）とトラッキングを統合すること。
• 標準的なマルチオブジェクトトラッキングベンチマークにおいて、精度と速度の両面で最先端の性能を達成すること。

提案手法

• 前フレームで検出されたバウンディングボックスを、次フレームにおける再検出のためのアンカー事前分布として再利用するトラッキングアンカーアサインメントモジュールを提案し、2段階検出器におけるプロポーザルインジェクションを模倣する。
• SSD検出器のアンカーベースのスライディングウィンドウ機構を活用することで、トラッキング・バイ・リデテクションパラダイムをSSD検出器に適応する。
• 外観特徴に基づく軽量なオンライントラックレット連結アルゴリズムを用いて、短いトラックレットを長期間のトラックに統合する。
• 2段階パイプラインを採用する：(1) 時間的アンカーを用いた再検出によるトラックレット生成、(2) 外観類似度を用いたオンライン連結。
• バックボーン検出器に依存しないトラックレット生成モジュールを設計することで、任意のSSDベースの検出器との互換性を実現する。
• オブジェクト数や解像度の変化が増加しても、推論速度を一定に保つことで、1フレームあたりの実行時間を最適化する。

実験結果

リサーチクエスチョン

• RQ1 トラッキング・バイ・リデテクションは、SSDのようなワンショット検出器に効果的に適応可能であり、リアルタイムでオンラインなマルチオブジェクトトラッキングを実現できるか？
• RQ2 プロポーザルネットワークや領域プロポーザル機構を備えずに、SSDベースの検出器に時間的情報を効果的に伝搬できるか？
• RQ3 高品質な再検出によるトラックレットと組み合わせた軽量なオンライン連結モジュールは、高いトラッキング精度を達成できるか？
• RQ4 提案されたSMOTフレームワークは、従来のトラッキング・バイ・検出手法と比較して、転送誤差を低減できるか？
• RQ5 リアルタイムマルチオブジェクトトラッキングにおいて、推論速度、モデルサイズ、トラッキング精度のトレードオフはどのようなものか？

主な発見

• MOT17では、SMOTがMOTA 0.900を達成し、Tracktor++（0.830）やDFS（0.837）といった先行オンライン手法を上回った。
• MusicVideosデータセットでは、SMOTがMOTA 0.832およびIDF1 0.848を達成し、先行オンライントラッカーを著しく上回った。
• SMOTはMOT17で転送誤差をたった38にまで低減した（Tracktor++の6537と比較）。これは、優れたトラック整合性と複数オブジェクトの誤関連の低減を示している。
• 256×256解像度で40 FPSで実行され、オブジェクト数や解像度の変化に関係なく安定した推論時間を維持した。
• アブレーションスタディの結果、10個のアンカー集約が、HannahではMOTA 0.609、MusicVideosではMOTA 0.536を達成し、精度と効率の最適なバランスを実現した。
• オンライン連結を用いたSMOTは、HannahでMOTA 0.615、MusicVideosでMOTA 0.772を達成し、トラック品質の向上に有効であることを示した。