[논문 리뷰] SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

Yutao Cui, Chenkai Zeng외 4명|arXiv (Cornell University)|2023. 04. 11.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 농구, 배구, 축구에서 구성된 240개의 영상 시퀀스를 포함하는 대규모 다객체 추적 데이터셋인 SportsMOT을 소개한다. 총 150만 개 이상의 프레임과 160만 개의 경계 상자(박스)를 포함한다. 운동 및 외관 기반 연관 문제를 해결하기 위해, 저자들은 MixFormer 유사 외관 모델과 운동 기반 추적을 통합한 트래커인 MixSort를 제안하여 SportsMOT에서 73.8 HOTA를 달성하고, MOT17 및 SoccerNet과 비교해도 일반화 능력이 향상된 최신 기술 수준의 성능을 보였다.

ABSTRACT

Multi-object tracking in sports scenes plays a critical role in gathering players statistics, supporting further analysis, such as automatic tactical analysis. Yet existing MOT benchmarks cast little attention on the domain, limiting its development. In this work, we present a new large-scale multi-object tracking dataset in diverse sports scenes, coined as \emph{SportsMOT}, where all players on the court are supposed to be tracked. It consists of 240 video sequences, over 150K frames (almost 15 imes MOT17) and over 1.6M bounding boxes (3 imes MOT17) collected from 3 sports categories, including basketball, volleyball and football. Our dataset is characterized with two key properties: 1) fast and variable-speed motion and 2) similar yet distinguishable appearance. We expect SportsMOT to encourage the MOT trackers to promote in both motion-based association and appearance-based association. We benchmark several state-of-the-art trackers and reveal the key challenge of SportsMOT lies in object association. To alleviate the issue, we further propose a new multi-object tracking framework, termed as \emph{MixSort}, introducing a MixFormer-like structure as an auxiliary association model to prevailing tracking-by-detection trackers. By integrating the customized appearance-based association with the original motion-based association, MixSort achieves state-of-the-art performance on SportsMOT and MOT17. Based on MixSort, we give an in-depth analysis and provide some profound insights into SportsMOT. The dataset and code will be available at https://deeperaction.github.io/datasets/sportsmot.html.

연구 동기 및 목표

• 다이나믹하고 고속 환경에서 선수 추적에 특화된 대규모, 스포츠 전용 다객체 추적 벤치마크의 부족을 해결한다.
• 고속이고 변동 속도가 빠른 선수의 움직임과 유사한 유니폼으로 인해 운동 기반 및 외관 기반 연관에 어려움이 발생하는 스포츠 MOT의 핵심 과제를 규명한다.
• 복잡한 스포츠 환경에서 연관 정확도를 향상시키기 위해 운동 및 외관 모델링을 모두 향상시킨 새로운 추적 프레임워크인 MixSort를 개발한다.
• 스포츠 응용 분야에 특화된 다객체 추적 모델을 평가하고 발전시키기 위한 종합적인 벤치마크를 제공한다.
• 스포츠 종류 간 추적기 일반화 능력을 깊이 있게 분석하고, MOT17, DanceTrack, SoccerNet과 같은 기존 데이터셋과의 비교를 가능하게 한다.

제안 방법

• 농구, 배구, 축구에서 240개의 고품질 영상 시퀀스를 수집 및 애너테이션 처리하여 총 150만 개 이상의 프레임과 160만 개의 경계 상자를 확보했으며, 코트에 있는 모든 선수를 추적한다.
• 외관 기반 추적을 향상시키기 위해 보조 연관 모듈로 MixFormer 유사 구조를 통합한 새로운 다객체 추적 프레임워크인 MixSort를 설계한다.
• 칼만 필터와 IoU를 사용한 운동 기반 연관과 MixFormer 모듈을 통한 외관 기반 연관을 학습 가능한 융합 메커니즘을 통해 통합한다.
• 유사한 외형을 가진 선수들(다른 번호와 자세)의 구분 능력을 향상시키기 위해 SportsMOT에서 ReID 모델을 미세 조정한다.
• SportsMOT에서 여러 최신 기술 수준의 트래커(예: ByteTrack, DeepSORT)를 훈련 및 평가하며, 훈련/검증/테스트 분할 비율을 45/45/150개 시퀀스로 설정한다.
• IoU 및 MixSort 기반 연관 점수를 융합하기 위해 가중치 융합 전략(하이퍼파라미터 α)을 사용하고, 검증 데이터에서 HOTA 최적화를 목표로 한다.

Figure 1 : Sampled sequences from the categories of basketball and football of SportsMOT, MOT17 and DanceTrack. There exist two key properties of SportsMOT: 1) fast and variable-speed motion , i.e . players usually possess high speed and frequently change their running speed (the visualized adjacent

실험 결과

연구 질문

• RQ1 고속 및 변동 속도가 빠른 선수를 포함한 대규모 스포츠 전용 MOT 벤치마크에서 기존 최신 기술 수준의 다객체 추적기가 어떻게 성능을 내는가?
• RQ2 운동 모델링과 외관 구분 능력에 있어 현재의 추적기가 스포츠 환경에 적용되었을 때 발생하는 주요 실패 원인은 무엇인가?
• RQ3 유사하지만 구분 가능한 외관을 가진 선수들을 고려할 때, MixFormer 유사 아키텍처가 스포츠 MOT의 외관 기반 연관에 얼마나 향상시킬 수 있는가?
• RQ4 SportsMOT는 MOT17, DanceTrack, SoccerNet과 비교해 추적 난이도와 모델 일반화 능력 측면에서 어떻게 다른가?
• RQ5 하이브리드 운동-외관 연관 프레임워크는 복잡한 스포츠 환경에서 운동 또는 외관 기반 추적에만 의존하는 표준 트래커보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• SportsMOT는 MOT17보다 훨씬 더 도전적인 벤치마크를 제공하며, 높은 검출 정확도(79.1 DetA)에도 불구하고 농구에서 IDF1 및 AssA 점수가 낮다(67.8 및 46.8), 이는 연관이 주요 병목임을 시사한다.
• MixSort 프레임워크는 SportsMOT에서 최신 기술 수준의 HOTA 73.8을 달성했으며, 표준 IoU 기반 연관(71.5 HOTA)보다 뛰어나고, MixFormer 기반 외관 모델의 효과성을 입증한다.
• 농구 서브셋에서 MixSort는 60.8 HOTA를 기록했으며, 스포츠 종류 중에서 가장 낮은 성능을 보여, 고속, 고속도의 선수 움직임과 가림 현상으로 인한 어려움을 반영한다.
• SportsMOT에서 MixSort는 표준 ByteTrack 및 ReID를 적용한 ByteTrack보다 뛰어나며, HOTA는 0.9점, IDF1은 1.9점, AssA는 1.4점 향상되어 제안된 외관 모델링의 우수성을 입증한다.
• DanceTrack에서는 MixSort가 표준 ByteTrack보다 성능이 열 劣하나, 이는 SportsMOT의 외관 신호가 DanceTrack의 구분 불가능한 의복보다 더 구분 능력이 뛰어나다는 것을 의미하며, SportsMOT가 운동 및 외관 측면에서 이중적인 도전 과제를 가짐을 검증한다.
• SoccerNet는 단지 축구에 집중하지만, SportsMOT(78.8 DetA, 65.7 HOTA)에 비해 낮은 DetA(71.5)와 HOTA(62.9)를 기록하여, SportsMOT의 더 넓은 범위와 고품질 애너테이션 덕분에 추적기 성능 향상과 더 견고한 평가가 가능하다는 점을 시사한다.

Figure 2 : IoU on adjacent frames. (a) Compared to MOT17 and DanceTrack, SportsMOT has a lower score, indicating that objects have faster motion. (b) In SportsMOT, the category of football has the lowest IoU score, which means that football players often have fast motion.