[論文レビュー] Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

Jinkun Cao, Jiangmiao Pang+3 more|arXiv (Cornell University)|Mar 27, 2022

Video Surveillance and Tracking Methods被引用数 33

ひとこと要約

OC-SORT は Kalman-filter-based MOT を、 occlusion および非線形運動中に観測を用いて誤差を訂正することで、複数データセットにおいてオンラインで最先端の結果を達成します。

ABSTRACT

Kalman filter (KF) based methods for multi-object tracking (MOT) make an assumption that objects move linearly. While this assumption is acceptable for very short periods of occlusion, linear estimates of motion for prolonged time can be highly inaccurate. Moreover, when there is no measurement available to update Kalman filter parameters, the standard convention is to trust the priori state estimations for posteriori update. This leads to the accumulation of errors during a period of occlusion. The error causes significant motion direction variance in practice. In this work, we show that a basic Kalman filter can still obtain state-of-the-art tracking performance if proper care is taken to fix the noise accumulated during occlusion. Instead of relying only on the linear state estimate (i.e., estimation-centric approach), we use object observations (i.e., the measurements by object detector) to compute a virtual trajectory over the occlusion period to fix the error accumulation of filter parameters during the occlusion period. This allows more time steps to correct errors accumulated during occlusion. We name our method Observation-Centric SORT (OC-SORT). It remains Simple, Online, and Real-Time but improves robustness during occlusion and non-linear motion. Given off-the-shelf detections as input, OC-SORT runs at 700+ FPS on a single CPU. It achieves state-of-the-art on multiple datasets, including MOT17, MOT20, KITTI, head tracking, and especially DanceTrack where the object motion is highly non-linear. The code and models are available at \url{https://github.com/noahcao/OC_SORT}.

研究の動機と目的

• クラシック SORT が occlusion（遮蔽）と非線形運動の処理における限界を特定する。
• 誤差蓄積を緩和する観測中心の MOT フレームワークを開発する。
• 遮蔽後に観測を用いてフィルタパラメータを再更新する機構を導入する。
• 観測に基づく運動一貫性をデータアソシエーションに組み込む。
• 多様な MOT ベンチマークで最先端の性能を実証する。

提案手法

• Kalman フィルターベースの MOT を分析し、SORT の三つの限界：ノイズ感度、時間的誤差の拡大、推定中心設計を特定する。
• 再活性化時に仮想軌跡を用いて KF パラメータを補填・再更新する Observation-centric Re-Update (ORU) を追加する。
• 結合コストに観測由来の運動一貫性を用いる Observation-Centric Momentum (OCM) を導入する。
• 観測からの軌道ベース方向一貫性を用いて、結合コストを C(X̂, Z) = C_IoU(X̂, Z) + λ C_v(Z, Z) として定式化する。
• 短時間消失したトラックを回復するヒューリスティックとして Observation-Centric Recovery (OCR) を組み込む。
• 検出入力を用いたオンライン、リアルタイム処理を維持し、CPU で高 FPS を達成する。

実験結果

リサーチクエスチョン

• RQ1 SORT における推定値の依存が、遮蔽および非線形運動下でのトラッキングの堅牢性にどう影響するか？
• RQ2 オブジェクトの観測を活用してフィルタパラメータを補填・再更新することで、遮蔽時の誤差蓄積を低減できるか？
• RQ3 観測ベースの運動方向の一貫性を組み込むことで、難しい運動下でのデータアソシエーションは改善されるか？
• RQ4 ORU、OCM、OCR が、標準 MOT ベンチマークにおいて、最先端のトラッカーと比較してどのような影響を与えるか？
• RQ5 MOT17、MOT20、KITTI、DanceTrack などのデータセットで、OC-SORT はオンライン・リアルタイム設定でどのように性能を示すか？

主な発見

Tracker	HOTA ↑	MOTA ↑	IDF1 ↑	FP (10^4) ↓	FN (10^4) ↓	IDs ↓	Frag ↓	AssA ↑	AssR ↑
FairMOT	59.3	73.7	72.3	2.75	11.7	3,303	8,073	58.0	63.6
TransCt	54.5	73.2	62.2	2.31	12.4	4,614	9,519	49.7	54.2
TransTrk	54.1	75.2	63.5	5.02	8.64	3,603	4,872	47.9	57.1
GRTU	62.0	74.9	75.0	3.20	10.8	1,812	1,824	62.1	65.8
QDTrack	53.9	68.7	66.3	2.66	14.7	3,378	8,091	52.7	57.2
MOTR	57.2	71.9	68.4	2.11	13.6	2,115	3,897	55.8	59.2
PermaTr	55.5	73.8	68.9	2.90	11.5	3,699	6,132	53.1	59.8
TransMOT	61.7	76.7	75.1	3.62	9.32	2,346	7,719	59.9	66.5
GTR	59.1	75.3	71.5	2.68	11.0	2,859	-	61.6	-
DST-Tracker	60.1	75.2	72.3	2.42	11.0	2,729	-	62.1	-
MeMOT	56.9	72.5	69.0	2.72	11.5	2,724	-	55.2	-
ByteTrack	63.1	80.3	77.3	2.55	8.37	2,196	2,277	62.0	68.2
OC-SORT	63.2	78.0	77.5	1.51	10.8	1,950	2,040	63.2	67.5

• OC-SORT は private detections を用いて MOT17 (63.2) および MOT20 (62.1) で最先端の HOTA を達成。
• OC-SORT は IDF1 および AssA の改善を通じて、データセット全体で強力なアソシエーション指標を達成、例として MOT17-val および DanceTrack-val のアブレーションを挙げる。
• DanceTrack では、非線形運動シナリオ下で OC-SORT がベースラインを大きく上回る。
• OC-SORT は CPU 上で 793 FPS を実行可能で、オンラインのリアルタイム追跡を実現。
• アブレーション研究で ORU が性能を大幅に向上させ、特に DanceTrack で OCM による利得が見られる。