[논문 리뷰] SoccerNet-Tracking: Multiple Object Tracking Dataset and Benchmark in Soccer Videos

Anthony Cioppa, Silvio Giancola외 6명|arXiv (Cornell University)|2022. 04. 14.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 논문은 200개의 30초 분량 시퀀스와 전체 45분 분량의 하프 타임 영상로 구성된 대규모 다중 객체 추적(MOT) 데이터셋인 SoccerNet-Tracking을 소개한다. 이 데이터셋은 선수, 볼, 심판에 대해 경계 상자와 트랙릿 ID로 완전히 애너테이션되어 있으며, 빠른 운동과 심각한 가림을 포함한 추적 과제에서의 도전 과제를 드러내며, 최신 MOT 기법들 역시 여전히 성능이 떨어지는 것으로 나타났다. 특히 코너나 골과 같은 상황에서의 성능 저하는 검출 및 재식별 기술 향상의 필요성을 강조한다.

ABSTRACT

Tracking objects in soccer videos is extremely important to gather both player and team statistics, whether it is to estimate the total distance run, the ball possession or the team formation. Video processing can help automating the extraction of those information, without the need of any invasive sensor, hence applicable to any team on any stadium. Yet, the availability of datasets to train learnable models and benchmarks to evaluate methods on a common testbed is very limited. In this work, we propose a novel dataset for multiple object tracking composed of 200 sequences of 30s each, representative of challenging soccer scenarios, and a complete 45-minutes half-time for long-term tracking. The dataset is fully annotated with bounding boxes and tracklet IDs, enabling the training of MOT baselines in the soccer domain and a full benchmarking of those methods on our segregated challenge sets. Our analysis shows that multiple player, referee and ball tracking in soccer videos is far from being solved, with several improvement required in case of fast motion or in scenarios of severe occlusion.

연구 동기 및 목표

• 축구 영상에서 다중 객체 추적을 위한 대규모이고 완전히 애너테이션된 데이터셋이 부족한 문제를 해결하기 위해.
• 침입적인 센서 없이도 선수 및 팀 통계(예: 주행 거리, 볼 터치 시간, 진형)를 자동으로 추출할 수 있도록 하기 위해.
• 가림과 빠른 운동을 포함한 현실적이고 도전적인 축구 시나리오에서 MOT 기법 평가를 위한 벤치마크를 설정하기 위해.
• 현재 최고 수준의 추적기에서 발생하는 주요 실패 원인, 특히 고가림 및 고속 이벤트 상황에서의 실패 원인을 특정하기 위해.
• 장기 추적 및 강력한 재식별 기술 개발을 촉진하기 위해 45분 분량의 완전히 애너테이션된 하프 타임 영상 시퀀스를 제공하기 위해.

제안 방법

• 데이터셋은 12개의 경기에서 선별한 200개의 짧은 시퀀스(각각 30초)로 구성되며, 골, 코너, 프리킥과 같은 11개의 어려운 축구 행동에 집중한다.
• 장기 추적 평가를 위해 45분 분량의 하프 타임 영상가 밀도 있게 애너테이션되었으며, 25fps로 경계 상자와 트랙릿 ID가 기록되었다.
• 선수, 볼, 심판에 대한 애너테이션을 포함하며, 트랙릿 ID를 통해 표준 MOT 메트릭스를 사용한 추적 평가가 가능하다.
• 데이터셋은 훈련용 및 평가용으로 분리되었으며, 향후 오픈 챌린지에서 과적합을 방지하기 위해 평가 세트는 격리되어 유지된다.
• 표준 메트릭스(예: MOTA, HOTA, AssA)를 사용해 최신 MOT 기반 모델(FairMOT, ByteTrack, YOLOX)을 데이터셋에서 평가한다.
• SoccerNet-Tracking 데이터에서 사전 학습된 검출기의 미세조정은 특히 관중으로 인한 가짜 경고를 줄이고 볼 검출 성능을 향상시켜 검출 및 연동 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 복잡한 가림과 빠른 운동 조건이 있는 대규모이고 현실적인 축구 영상 데이터셋에서 현재 최고 수준의 다중 객체 추적 기법은 어떤 성능을 보이는가?
• RQ2 기존 MOT 모델의 주요 실패 원인은 무엇인가? 특히 코너, 골, 프리킥과 같은 상황에서의 실패 원인은 무엇인가?
• RQ3 SoccerNet-Tracking에서 사전 학습된 검출기를 미세조정하면, 그대로 사용할 때보다 검출 및 연동 성능 향상 정도는 어느 정도인가?
• RQ4 교체, 페널티, 기념행사 등의 다양한 추적 시나리오는 검출 및 연동 정확도 측면에서 MOT 모델의 성능에 어떤 영향을 미치는가?
• RQ5 45분 분량의 하프 타임 시퀀스는 스포츠 영상 분석에서 장기 추적에 의미 있는 벤치마크로 기능할 수 있는가?

주요 결과

• FairMOT는 테스트 세트에서 가장 높은 MOTA(68.9)와 HOTA(62.1) 점수를 기록하며, ByteTrack 및 YOLOX를 앞서며 검출 및 연동 성능이 뛰어나다는 것을 보여준다.
• SoccerNet-Tracking에서 사전 학습된 검출기의 미세조정은 검출 및 연동 성능을 크게 향상시키며, FairMOT의 MOTA는 58.7에서 68.9로 상승한다.
• 가장 어려운 추적 시나리오는 코너와 골이며, 주로 높은 수준의 가림과 선수 집합으로 인해 ID 교체가 빈번히 발생하고 AssA 점수가 낮아진다.
• 교체나 노란 카드와 같은 시나리오는 움직임이 적고 가림이 적어 검출 정확도가 높아 추적하기가 가장 쉬운 편이다.
• 참고 검출기의 결과가 제공될 경우, 골이나 페널티와 같은 어려운 상황에서 성능이 크게 향상되며, 이는 이러한 상황에서의 주된 병목은 연동이 아니라 검출임을 시사한다.
• 정성적 분석 결과, 현재 모델들은 빠르게 움직이는 물체와 농도 높은 가림 상황—특히 프리킥 상황에서—에서 어려움을 겪고 있으며, 이는 더 나은 재식별 및 운동 모델링 기술의 필요성을 강조한다.