[論文レビュー] StrongSORT: Make DeepSORT Great Again

Yunhao Du, Zhao, Zhicheng+5 more|arXiv (Cornell University)|Feb 28, 2022

Video Surveillance and Tracking Methods被引用数 20

ひとこと要約

要約: 本論文は DeepSORT を再検討し StrongSORT を構築、強力で公正な MOT ベースラインとし、AFLink と GSI の2つの軽量プラグインを追加して StrongSORT++ を作成。MOT17、MOT20、DanceTrack、KITTI で最先端の結果を達成。

ABSTRACT

Recently, Multi-Object Tracking (MOT) has attracted rising attention, and accordingly, remarkable progresses have been achieved. However, the existing methods tend to use various basic models (e.g, detector and embedding model), and different training or inference tricks, etc. As a result, the construction of a good baseline for a fair comparison is essential. In this paper, a classic tracker, i.e., DeepSORT, is first revisited, and then is significantly improved from multiple perspectives such as object detection, feature embedding, and trajectory association. The proposed tracker, named StrongSORT, contributes a strong and fair baseline for the MOT community. Moreover, two lightweight and plug-and-play algorithms are proposed to address two inherent "missing" problems of MOT: missing association and missing detection. Specifically, unlike most methods, which associate short tracklets into complete trajectories at high computation complexity, we propose an appearance-free link model (AFLink) to perform global association without appearance information, and achieve a good balance between speed and accuracy. Furthermore, we propose a Gaussian-smoothed interpolation (GSI) based on Gaussian process regression to relieve the missing detection. AFLink and GSI can be easily plugged into various trackers with a negligible extra computational cost (1.7 ms and 7.1 ms per image, respectively, on MOT17). Finally, by fusing StrongSORT with AFLink and GSI, the final tracker (StrongSORT++) achieves state-of-the-art results on multiple public benchmarks, i.e., MOT17, MOT20, DanceTrack and KITTI. Codes are available at https://github.com/dyhBUPT/StrongSORT and https://github.com/open-mmlab/mmtracking.

研究の動機と目的

• 追跡-by-detection MOT 手法の公正な比較を可能にする、強力で公正なベースラインを提供する。
• 検出器、埋め込み、推論の工夫を維持しつつ、DeepSORT を強化する。
• 軽量でプラグアンドプレイ可能なモジュール（AFLink および GSI）を用いて、2 つの MOT の典型的な課題—欠落したアソシエーションと欠落した検出—に対処する。
• 複数の公の MOT ベンチマークで最先端の性能を示す。
• 学術機関と産業界での適用を促進するオープンソースコードを提供する。

提案手法

• DeepSORT をより強力な検出器（YOLOX-X）と埋め込み（BoT）でアップグレードし、外観モデリングを改善する。
• 外観特徴のノイズを減らすため、特徴バンクを指数移動平均（EMA）更新に置換する。
• カメラ運動補償（ECC）と NSA カルマンフィルタを組み込み、適応的なノイズ処理を行う。
• 外観と運動を組み合わせたコストでマッチングを実施する（C = lambda Aa + (1-lambda) Am）。
• マッチングカスケードを、より強力なトラッカーに対して過度に制限的な事前を避けるため、バニラのグローバル線形割り当てに置換する。
• AFLink を導入：時空間特徴を用いてトラックレットの結合性を予測する（二値分類器）、外観なしのグローバルトラックレット結合法。
• Gaussian-process 回帰に基づく GSI を導入：欠損検出を適応的な滑らかさパラメータで補間し、軌道のローカライゼーションを改善。

Figure 1 : IDF1-MOTA-HOTA comparisons of state-of-the-art trackers with our proposed StrongSORT and StrongSORT++ on MOT17 and MOT20 test sets. The horizontal axis is MOTA, the vertical axis is IDF1, and the radius of the circle is HOTA. ”*” represents our reproduced version. Our StrongSORT++ achieve

実験結果

リサーチクエスチョン

• RQ1 古典的 MOT フレームワーク（DeepSORT）を、現代の MOT 手法の強力で公正なベースラインとして再設計できるか。
• RQ2 軽量で外観なしのリンク（AFLink）とガウス過程ベースの補間（GSI）は、 heavy な計算コストをかけずにアソシエーションと軌道復元を改善できるか。
• RQ3 AFLink と GSI は、異なるトラッカー間でも一般化し、一貫した性能向上をもたらすか。
• RQ4 強力なトラッカーでのマッチングカスケードをバニラのグローバル割り当てに置換することの影響は。
• RQ5 StrongSORT および StrongSORT++ は MOT17、MOT20、DanceTrack、KITTI のデータセットで最先端の結果を達成するか。

主な発見

モード	方法	参照	HOTA(↑)	IDF1(↑)	MOTA(↑)	AssA(↑)	DetA(↑)	IDs(↓)	FPS(↑)
オンライン	SORT	[3]	34.0	39.8	43.1	31.8	37.0	4,852	143.3
StrongSORT	私たちの	StrongSORT	78.5	78.5	78.3	63.7	63.6	1,446	7.5

• DeepSORT の構成要素をより強力な検出器と埋め込みに置換することで IDF1 などの指標が改善される。
• EMA ベースの外観更新と ECC/NSA カルマンが IDF1、MOTA、速度に対して段階的な改善を提供する。
• 外観と運動のコストをマッチングに含める（MC）ことでアソシエーションを改善する；マッチングカスケードを放棄すると、より強力なベースラインでの性能がさらに向上する。
• AFLink は、特に欠落したアソシエーションを持つトラッカーで、IDF1 と HOTA に顕著な改善をもたらす。
• GSI は、ガウス過程ベースの補間で軌道を滑らかにしつつ、IDF1、MOTA、HOTA を改善し、FPS を実用的な水準で維持する。
• StrongSORT++（AFLink および GSI を用いた StrongSORT）は、様々な設定で MOT17、MOT20、DanceTrack、KITTI において最先端の結果を達成する。

Figure 2 : Framework and performance comparison between DeepSORT and StrongSORT. Performance is evaluated on the MOT17 validation set based on detections predicted by YOLOX [ 18 ] .