[논문 리뷰] SportsTrack: An Innovative Method for Tracking Athletes in Sports Scenes

Jie Wang, Yuzhou Peng외 3명|arXiv (Cornell University)|2022. 11. 14.

Medical Imaging and Analysis인용 수 8

한 줄 요약

SportsTrack는 스포츠 비디오 다중 객체 추적을 위한 혁신적인 3단계 매칭 트래커를 제안하며, 운동 왜곡, 신체 겹침, 저신뢰도 검출을 해결하기 위해 1:다 검출-트랙 상응관계와 가장자리 잃은 트랙 복구를 활용한다. YOLOX 검출기와 Fast-ReID ReID 모델을 사용하여 SportsMOT 테스트 세트에서 HOTA 76.264의 최고 성능을 달성한다.

ABSTRACT

The SportsMOT dataset aims to solve multiple object tracking of athletes in different sports scenes such as basketball or soccer. The dataset is challenging because of the unstable camera view, athletes' complex trajectory, and complicated background. Previous MOT methods can not match enough high-quality tracks of athletes. To pursue higher performance of MOT in sports scenes, we introduce an innovative tracker named SportsTrack, we utilize tracking by detection as our detection paradigm. Then we will introduce a three-stage matching process to solve the motion blur and body overlapping in sports scenes. Meanwhile, we present another innovation point: one-to-many correspondence between detection bboxes and crowded tracks to handle the overlap of athletes' bodies during sports competitions. Compared to other trackers such as BOT-SORT and ByteTrack, We carefully restored edge-lost tracks that were ignored by other trackers. Finally, we reached the SOTA result in the SportsMOT dataset.

연구 동기 및 목표

• 운동 와중에 발생하는 운동 왜곡, 신체 겹침, 불안정한 카메라 시야 등 동적인 스포츠 장면에서 선수를 추적하는 과제를 해결한다.
• 가장자리 잃은 트랙 복구와 저신뢰도 검출의 효과적 처리를 통해 스포츠 MOT의 추적 성능을 향상시킨다.
• 신뢰도 기반 우선순위 정책으로 인해 저신뢰도이지만 고품질의 검출을 매칭하지 못하는 기존 트래커들(예: ByteTrack, BOT-SORT)의 한계를 극복한다.
• 신체 겹침 기간 동안 연속성을 유지하기 위해 검출 바운딩 박스와 혼잡한 트랙 간 1:다 상응관계를 도입한다.
• 특히 고밀도 스포츠 장면에서 복잡한 상황을 잘 처리하는 것으로, SportsMOT 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 스포츠 장면에서 선수를 고품질로 검출하기 위해 입력 크기가 $1440 \times 800$인 YOLOX를 사용한다.
• ReID 기반 매칭을 위한 외관 임베딩을 위해 입력 크기가 $128 \times 384$인 Fast-ReID를 적용한다.
• 3단계 매칭 전략을 구현한다: (1) 엄격한 ReID 및 IOU 매칭, 더 좁은 임계값을 적용한다; (2) 고신뢰도 바운딩 박스의 ReID 및 IOU를 통한 매칭; (3) 저신뢰도 바운딩 박스의 경우 IOU만을 사용한 매칭.
• 혼잡한 트랙을 도입하여 검출 바운딩 박스와 트랙 간 1:다 상응관계를 허용함으로써 신체 겹침 기간 동안 연속성을 유지한다.
• 고신뢰도 매칭 이후에 불일치한 저신뢰도 검출을 재평가하여 가장자리 잃은 트랙을 복구함으로써 조기 트랙 삭제를 방지한다.
• SportsMOT 및 DukeMTMCReID에서 데이터 증강과 미세조정을 통해 향상된 ReID 일반화 성능을 얻기 위해 후처리 ReID 모델(osnet_ain_1x0)를 사용한다.

실험 결과

연구 질문

• RQ1 선수가 빠르게 움직이고 영상에 자주 겹칠 때 스포츠 장면에서의 다중 객체 추적은 어떻게 향상시킬 수 있는가?
• RQ2 운동 왜곡으로 인해 자주 발생하는 저신뢰도 검출은 성능 저하 없이 어떻게 효과적으로 활용할 수 있는가?
• RQ3 1:다 검출-트랙 상응관계는 고밀도 스포츠 장면에서 신체 겹침 기간 동안 추적 연속성을 어떻게 향상시킬 수 있는가?
• RQ4 ByteTrack와 같은 트래커에서 신뢰도 우선 매칭 방식에 비해 3단계 매칭 전략이 왜 더 우수한가?
• RQ5 가장자리 잃은 트랙 복구는 스포츠 영상 시퀀스의 전체 MOT 성능에 어떤 영향을 미치는가?

주요 결과

• SportsTrack는 SportsMOT 테스트 세트에서 최고 성능인 HOTA 76.264를 달성하여 기존 트래커를 크게 앞서간다.
• SportsMOT 검증 세트에서 SportsTrack는 HOTA 80.863을 기록하여 강력한 일반화 능력과 강인성을 입증한다.
• 3단계 매칭 전략은 가장자리 잃은 트랙을 효과적으로 복구하고, 특히 운동 왜곡 및 겹침 상황에서 추적 연속성을 향상시킨다.
• 검출 바운딩 박스와 혼잡한 트랙 간 1:다 상응관계는 신체 겹침 기간 동안 트랙 분할을 감소시켜 트랙 품질을 향상시킨다.
• 단계별로 ReID와 IOU를 활용한 매칭 과정은 검출 정렬 및 트랙 연관 정확도를 모두 향상시킨다.
• 후처리 ReID 모델은 ReID 성능을 크게 향상시켜 더 나은 장기적 트랙 안정성과 ID 일관성에 기여한다.