[논문 리뷰] ByteTrack: Multi-Object Tracking by Associating Every Detection Box

Yifu Zhang, Peize Sun외 7명|arXiv (Cornell University)|2021. 10. 13.

Video Surveillance and Tracking Methods참고 문헌 85인용 수 105

한 줄 요약

ByteTrack은 거의 모든 탐지 상자를 활용하는 간단한 연관화 전략을 도입하여 낮은 점수 상자를 버리지는 않더라도 MOT를 개선하고, 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Multi-object tracking (MOT) aims at estimating bounding boxes and identities of objects in videos. Most methods obtain identities by associating detection boxes whose scores are higher than a threshold. The objects with low detection scores, e.g. occluded objects, are simply thrown away, which brings non-negligible true object missing and fragmented trajectories. To solve this problem, we present a simple, effective and generic association method, tracking by associating almost every detection box instead of only the high score ones. For the low score detection boxes, we utilize their similarities with tracklets to recover true objects and filter out the background detections. When applied to 9 different state-of-the-art trackers, our method achieves consistent improvement on IDF1 score ranging from 1 to 10 points. To put forwards the state-of-the-art performance of MOT, we design a simple and strong tracker, named ByteTrack. For the first time, we achieve 80.3 MOTA, 77.3 IDF1 and 63.1 HOTA on the test set of MOT17 with 30 FPS running speed on a single V100 GPU. ByteTrack also achieves state-of-the-art performance on MOT20, HiEve and BDD100K tracking benchmarks. The source code, pre-trained models with deploy versions and tutorials of applying to other trackers are released at https://github.com/ifzhang/ByteTrack.

연구 동기 및 목표

• MOT 시스템에서 낮은 점수 상자를 버려 누락된 탐지와 단편화된 궤적을 완화하도록 동기를 부여합니다.
• 추적 단(트랙렛) 유사성을 통해 고점수 탐지와 저점수 탐지를 모두 활용하는 일반적인 데이터 연관화 방법을 제안합니다.
• 고성능 탐지기와 BYTE를 짝지어 강력하고 간단한 트래커(ByteTrack)를 설계합니다.
• 다양한 추적기와 표준 MOT 벤치마크에서 ByteTrack의 효과를 입증합니다.

제안 방법

• 임계값을 사용하여 탐지를 고점수 그룹과 저점수 그룹으로 분할하고 2단계 데이터 연관화를 적용합니다.
• 먼저 모션/외관 유사성(Kalman 필터 + IoU 또는 Re-ID 특징)을 사용하여 고점수 탐지를 기존 트랙렛과 연결합니다.
• 두 번째로 일치하지 않는 트랙렛을 저점수 탐지와 IoU를 사용해 연결하여 가려진 물체를 회수하고 배경을 걸러냅니다.
• 일치하지 않는 저점수 탐지는 삭제하고 고정된 프레임 창(예: 30 프레임)으로 손실된 트랙을 관리합니다.
• 핵심 아키텍처를 변경하지 않고 성능을 향상시키기 위해 BYTE를 다른 트래커(예: FairMOT)와 선택적으로 통합합니다.

실험 결과

연구 질문

• RQ1 저점수 탐지를 두 단계 연관화를 통해 포함시키면 MOT에서 누락 객체와 ID 스위치를 줄일 수 있습니까?
• RQ2 BYTE 기반의 두 단계 연관화가 다양한 트래커와 데이터셋에서 MOTA/IDF1/HOTA를 개선합니까?
• RQ3 다른 탐지 점수 임계값과 도전적 시나리오(가려짐, 모션 블러, 혼잡한 장면)에 대해 BYTE 접근 방식은 얼마나 강건합니까?
• RQ4 사설(detector) 프로토콜 하에서 MOT17, MOT20, HiEve, 및 BDD100K에서 ByteTrack의 성능은 최첨단 방법에 비해 어떠합니까?

주요 결과

• BYTE를 적용한 9개의 트래커에서 벤치마크 전반에 걸쳐 MOTA, IDF1 및 ID의 일관된 개선을 얻었습니다.
• ByteTrack은 MOT17 테스트 세트에서 30 FPS로 80.3 MOTA, 77.3 IDF1, 63.1 HOTA를 달성합니다.
• MOT17에서 ByteTrack은 30 FPS로 1위에 위치하며 두 번째에 비해 현저한 차이로 앞섭니다.
• MOT20에서 ByteTrack은 77.8 MOTA, 75.2 IDF1, 61.3 HOTA를 달성하여 혼잡한 장면에서 경쟁자를 능가합니다.
• 두 번째 연관에서 유사성으로 IoU만을 사용할 때도 ByteTrack의 성능 향상을 보여주는 표가 나타납니다.
• ByteTrack은 다양한 트래커와의 통합에서 강한 일반화를 보이며 탐지 점수 임계값에 대해 견고함을 유지합니다.