[논문 리뷰] Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

Jinkun Cao, Jiangmiao Pang외 3명|arXiv (Cornell University)|2022. 03. 27.

Video Surveillance and Tracking Methods인용 수 33

한 줄 요약

OC-SORT는 관측치를 사용해 가림(occlusion)과 비선형 운동 중 오차를 보정함으로써 Kalman 필터 기반 MOT를 향상시켜 여러 데이터셋에서 온라인으로 최첨단 결과를 달성합니다.

ABSTRACT

Kalman filter (KF) based methods for multi-object tracking (MOT) make an assumption that objects move linearly. While this assumption is acceptable for very short periods of occlusion, linear estimates of motion for prolonged time can be highly inaccurate. Moreover, when there is no measurement available to update Kalman filter parameters, the standard convention is to trust the priori state estimations for posteriori update. This leads to the accumulation of errors during a period of occlusion. The error causes significant motion direction variance in practice. In this work, we show that a basic Kalman filter can still obtain state-of-the-art tracking performance if proper care is taken to fix the noise accumulated during occlusion. Instead of relying only on the linear state estimate (i.e., estimation-centric approach), we use object observations (i.e., the measurements by object detector) to compute a virtual trajectory over the occlusion period to fix the error accumulation of filter parameters during the occlusion period. This allows more time steps to correct errors accumulated during occlusion. We name our method Observation-Centric SORT (OC-SORT). It remains Simple, Online, and Real-Time but improves robustness during occlusion and non-linear motion. Given off-the-shelf detections as input, OC-SORT runs at 700+ FPS on a single CPU. It achieves state-of-the-art on multiple datasets, including MOT17, MOT20, KITTI, head tracking, and especially DanceTrack where the object motion is highly non-linear. The code and models are available at \url{https://github.com/noahcao/OC_SORT}.

연구 동기 및 목표

• 전통 SORT가 가려짐 및 비선형 운동을 처리하는 데 가진 한계를 식별한다.
• 관측 중심 MOT 프레임워크를 개발해 오차 누적을 완화한다.
• 가려짐 이후 관측을 사용해 필터 매개변수를 재업데이트하는 메커니즘을 도입한다.
• 관측 기반의 모션 일관성을 데이터 연관에 반영한다.
• 다양한 MOT 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• Kalman 필터 기반 MOT를 분석하고 SORT의 세 가지 한계를 지적한다: 잡음 민감도, 시간적 오차 확대, 추정 중심 설계.
• 관측 중심 재업데이트(ORU)를 도입해 재 활성화 중 가상의 궤적을 사용해 KF 매개변수를 보정한다.
• 관측으로부터 도출된 모션 일관성을 연관 비용에 활용하도록 관측 중심 모멘텀(OCM)을 도입한다.
• 연관 비용을 C(X̂, Z) = C_IoU(X̂, Z) + λ C_v(Z, Z)로 형식화하고 관측으로부터 궤적 기반 방향 일관성을 사용한다.
• 일시적으로 잃은 트랙을 회복하기 위한 휴리스틱으로 관측 중심 복구(OCR)를 도입한다.
• 탐지 입력과 함께 온라인 실시간 처리를 유지하며 CPU에서 높은 FPS를 달성한다.

실험 결과

연구 질문

• RQ1 SORT의 추정에 의존하는 것이 가림과 비선형 운동에서 추적 강건성에 어떤 영향을 미치는가?
• RQ2 관측을 활용해 필터 매개변수를 백필(back-fill)하고 재업데이트하면 가림 중 오차 누적을 줄일 수 있는가?
• RQ3 관측 기반의 모션 방향 일관성을 도입하면 도전적 모션에서 데이터 연관이 개선되는가?
• RQ4 ORU, OCM, OCR이 표준 MOT 벤치마크에서 최첨단 추적기와 비교해 어떤 차이를 보이는가?
• RQ5 MOT17, MOT20, KITTI, DanceTrack 등 데이터셋에서 온라인 실시간 설정으로 OC-SORT의 성능은 어떠한가?

주요 결과

트래커	HOTA ↑	MOTA ↑	IDF1 ↑	FP (10^4) ↓	FN (10^4) ↓	IDs ↓	Frag ↓	AssA ↑	AssR ↑
FairMOT	59.3	73.7	72.3	2.75	11.7	3,303	8,073	58.0	63.6
TransCt	54.5	73.2	62.2	2.31	12.4	4,614	9,519	49.7	54.2
TransTrk	54.1	75.2	63.5	5.02	8.64	3,603	4,872	47.9	57.1
GRTU	62.0	74.9	75.0	3.20	10.8	1,812	1,824	62.1	65.8
QDTrack	53.9	68.7	66.3	2.66	14.7	3,378	8,091	52.7	57.2
MOTR	57.2	71.9	68.4	2.11	13.6	2,115	3,897	55.8	59.2
PermaTr	55.5	73.8	68.9	2.90	11.5	3,699	6,132	53.1	59.8
TransMOT	61.7	76.7	75.1	3.62	9.32	2,346	7,719	59.9	66.5
GTR	59.1	75.3	71.5	2.68	11.0	2,859	-	61.6	-
DST-Tracker	60.1	75.2	72.3	2.42	11.0	2,729	-	62.1	-
MeMOT	56.9	72.5	69.0	2.72	11.5	2,724	-	55.2	-
ByteTrack	63.1	80.3	77.3	2.55	8.37	2,196	2,277	62.0	68.2
OC-SORT	63.2	78.0	77.5	1.51	10.8	1,950	2,040	63.2	67.5

• OC-SORT는 MOT17(63.2) 및 MOT20(62.1)에서 private detections로 최첨단 HOTA를 달성한다.
• OC-SORT는 데이터셋 전반에서 IDF1 및 AssA가 개선되어 강한 연관 지표를 얻으며, 예를 들어 MOT17-val 및 DanceTrack-val 제거(ablations)에서 확인된다.
• DanceTrack에서 OC-SORT는 비선형 모션 시나리오에서 기본선보다 현저히 우수하다.
• OC-SORT는 CPU에서 793 FPS로 실행되어 온라인 실시간 추적을 가능하게 한다.
• 분해 실험(ablations)에서 ORU가 성능을 크게 높이고, OCM은 특히 DanceTrack에서 이점을 제공한다.