[논문 리뷰] BoT-SORT: Robust Associations Multi-Pedestrian Tracking

Nir Aharon, Roy Orfaig외 1명|arXiv (Cornell University)|2022. 06. 29.

Video Surveillance and Tracking Methods인용 수 308

한 줄 요약

BoT-SORT는 카메라 모션 보상(camera-motion compensation) 및 refined Kalman 필드 상태와 IoU-ReID 융합을 도입하여 MOT17/20에서 다중 보행자 추적에서 최첨단을 달성하고, MOTA, IDF1, HOTA에서 이전 트래커를 능가합니다.

ABSTRACT

The goal of multi-object tracking (MOT) is detecting and tracking all the objects in a scene, while keeping a unique identifier for each object. In this paper, we present a new robust state-of-the-art tracker, which can combine the advantages of motion and appearance information, along with camera-motion compensation, and a more accurate Kalman filter state vector. Our new trackers BoT-SORT, and BoT-SORT-ReID rank first in the datasets of MOTChallenge [29, 11] on both MOT17 and MOT20 test sets, in terms of all the main MOT metrics: MOTA, IDF1, and HOTA. For MOT17: 80.5 MOTA, 80.2 IDF1, and 65.0 HOTA are achieved. The source code and the pre-trained models are available at https://github.com/NirAharon/BOT-SORT

연구 동기 및 목표

• 다이나믹한 환경을 처리하기 위해 모션, 외관 및 카메라 모션 보상을 통합하여 다중 객체 추적을 향상시킨다.
• 보다 나은 바운딩 박스 위치 추정을 위한 강력한 Kalman 필드 벡터를 개발한다.
• 안정적인 데이터 연결을 위해 IoU 기반 모션 신호와 Re-ID 외관 특징을 융합한다.

제안 방법

• 센터 좌표, 너비, 높이 및 이들의 속도(x_c, y_c, w, h, ẋ_c, ẏ_c, ẇ, ḣ)를 캡처하는 수정된 상태 벡터를 가진 Kalman 필터를 사용한다.
• 이미지 정합을 통한 Camera Motion Compensation (CMC)을 도입하여 배경 모션을 추정하고 KF 예측을 보정한다.
• 먼저 근접 마스킹을 적용한 다음 IoU 거리와 정제된 코사인 거리의 최솟값을 취하는 새로운 IoU-ReID 융합 비용을 도입하고, 임계값 θ_iou와 θ_emb에 의해 제어한다.
• 높은 신뢰도 검출 필터를 사용하여 Re-ID 특징을 안정화시키는 EMA 업데이트를 트랙렛AppearanceDescriptor f_i^k를 e_i^k로 적용한다.
• 첫 번째 연결 단계에서 Hungary 배정에 사용되는 비용 행렬 C에서 모션(IoU)과 외관(코사인) 신호를 결합한다.
• 온라인 TB(BoT-SORT) 및 ReID 확장 버전(BoT-SORT-ReID)을 간단하면서도 효과적으로 ByteTrack 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 카메라 모션을 효과적으로 보정하여 MOT의 트랙렛-대 탐지 연결을 개선할 수 있는가?
• RQ2 정교한 Kalman 필드 벡터가 바운딩 박스 위치 추정 및 전체 추적 지표를 개선하는가?
• RQ3 IoU 기반 모션 신호를 Re-ID 특징과 효과적으로 융합하여 속도를 저해하지 않고 데이터 연결을 향상시킬 수 있는가?
• RQ4 표현 통합을 통해 붐비는 장면에서 아이덴티티 보존에 미치는 EMA 보고 특징의 영향은 무엇인가?

주요 결과

• BoT-SORT 및 BoT-SORT-ReID가 MOT17 및 MOT20 테스트 세트에서 최상위 지표를 달성하며 선두 보드에서 MOTA, IDF1 및 HOTA에서 1위를 차지했다.
• MOT17 테스트 세트에서 BoT-SORT는 MOTA 80.6, IDF1 79.5, HOTA 64.6으로 1257 IDs 및 6.6 FPS를 기록했다.
• BoT-SORT-ReID는 MOTA 80.5, IDF1 80.2, HOTA 65.0으로 1212 IDs 및 4.5 FPS를 기록했다.
• 아블레이션은 KF, CMC 및 ReID 구성요소를 추가할수록 MOTA, IDF1 및 HOTA가 점진적으로 향상되며, 전체 BoT-SORT 구성에서 가장 우수한 성능을 보였다.
• 마스킹(근접 임계값)을 포함한 IoU-ReID 융합은 MOT17 검증에서 단일 IoU 또는 코사인 전략보다 MOTA, IDF1 및 HOTA에서 더 높은 성능을 보였다.
• 또한 이 논문은 추적 실패 분석을 위한 시간 해상도 MOTA 지표인 cMOTA를 도입한다.