[논문 리뷰] Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification

Gerard Maggiolino, Adnan Ahmad외 2명|arXiv (Cornell University)|2023. 02. 23.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

Deep OC-SORT은 적응형 appearance 신호를 모션 기반 OC-SORT 기반과 통합하여 MOT17, MOT20, DanceTrack에서 최첨단 HOTA 점수를 달성하고 온라인 상태를 유지합니다.

ABSTRACT

Motion-based association for Multi-Object Tracking (MOT) has recently re-achieved prominence with the rise of powerful object detectors. Despite this, little work has been done to incorporate appearance cues beyond simple heuristic models that lack robustness to feature degradation. In this paper, we propose a novel way to leverage objects' appearances to adaptively integrate appearance matching into existing high-performance motion-based methods. Building upon the pure motion-based method OC-SORT, we achieve 1st place on MOT20 and 2nd place on MOT17 with 63.9 and 64.9 HOTA, respectively. We also achieve 61.3 HOTA on the challenging DanceTrack benchmark as a new state-of-the-art even compared to more heavily-designed methods. The code and models are available at \url{https://github.com/GerardMaggiolino/Deep-OC-SORT}.

연구 동기 및 목표

• 간단한 휴리스틱을 넘어 appearance 신호를 효과적으로 통합하여 강건한 다중 객체 추적을 촉진한다.
• OC-SORT를 적응형 appearance, 카메라 모션 보정, 가중치가 부여된 appearance 매칭으로 확장한다.
• 같은 탐지 결과를 사용하여 도전적인 벤치마크에서 온라인 성능 향상을 입증한다.
• 향후 연구를 위한 모션 모델과 appearance 정보를 조화시키는 재사용 가능한 베이스라인을 제공한다.

제안 방법

• 움직이는 카메라 하에서 상태를 정렬하기 위해 Camera Motion Compensation (CMC)을 추가하여 OC-SORT를 확장한다.
• 탐지기 신뢰도(detector confidence)를 사용하여 매 프레임 EMA appearance 업데이트를 수행함으로써 Dynamic Appearance (DA)를 도입한다.
• 트랙 간 구분력과 탐지 간 차별성에 따라 appearance 유사도를 가중하기 위한 Adaptive Weighting (AW)을 개발한다.
• 데이터 연결 비용 행렬에서 IoU와 결합된 가중된 appearance 비용을 사용하여 매칭을 개선한다.
• Kalman 보정 이전에 CMC 업데이트를 적용하여 모션 예측이 카메라 보정된 상태에서 시작되도록 한다.
• appearance에 대해 alpha_f = 0.95의 고정 EMA 베이스라인을 채택하고, alpha_t를 탐지자의 신뢰도 s_det와 임계값 sigma의 함수로 계산한다.

실험 결과

연구 질문

• RQ1 적응형의 프레임별 appearance 업데이트가 오클루전(가려짐)과 흐림 상황에서도 하이퍼파라미터를 추가하지 않고 추적 강건성을 향상시킬 수 있는가?
• RQ2 Turn-key 모션 모델과 카메라 모션 보정을 통합하는 것이 표준 MOT 및 DanceTrack 벤치마크에서 측정 가능한 이득을 가져오는가?
• RQ3 온라인 MOT에서 데이터 연결을 위한 appearance 큐의 차별적이고 적응적인 가중치가 얼마나 효과적인가?
• RQ4 동일한 탐지기를 사용한 순수 온라인 설정에서 appearance와 motion을 결합했을 때 성능 영향은 무엇인가?
• RQ5 제안된 Deep OC-SORT 접근법이 MOT에서 향후 appearance-motion 융합의 더 강력한 베이스라인인가?

주요 결과

• Deep OC-SORT는 MOT17-test에서 64.9 HOTA, MOT20-test에서 63.9 HOTA, DanceTrack-test에서 61.3 HOTA를 달성하여 기존의 온라인 방법들을 능가한다.
• MOT17 및 MOT20에서 Deep OC-SORT는 OC-SORT와 ByteTrack을 포함한 여러 베이스라인을 능가하면서 오프라인 후처리 없이 온라인 상태를 유지한다.
• 절차적 분해(ablation)에서 Dynamic appearance와 adaptive weighting은 MOT17, MOT20, DanceTrack 전반에 걸쳐 HOTA, AssA, IDF1를 일관되게 개선한다.
• Camera Motion Compensation (CMC)은 MOT17과 DanceTrack에서 이점을 제공하고 고정 카메라인 MOT20에서는 이점이 덜 나타난다.
• 적응형 appearance 프레임워크는 EMA와 탐지 임계값에 있는 파라미터를 넘지 않는 새로운 하이퍼파라미터를 도입하지 않으면서도 주목할 만한 성능 향상을 가져온다.