[논문 리뷰] SoccerNet 2023 Tracking Challenge -- 3rd place MOT4MOT Team Technical Report

Gal Shitrit, Ishay Be’ery외 1명|arXiv (Cornell University)|2023. 08. 31.

Video Analysis and SummarizationComputer Science인용 수 3

한 줄 요약

이 논문은 SoccerNet 2023 트래킹 챌린지에서 MOT4MOT 팀의 접근 방식을 제시하며, HOTA 점수 66.27로 3위를 기록했다. 이 방법은 선수와 볼 트래킹을 분리하여 적용한다: 선수 트래킹은 미세조정된 YOLOv8 검출기와 DeepOC-SORT++ 트래커를 사용하며, 후처리 단계에서 보간(보정) 기법(GSI), 외관 정보 없이 트랙을 병합하는 기법(AFLink), 외관 기반 트랙 병합 기법을 적용한다. 볼 트래킹은 저신뢰도 YOLOv8l 검출기를 사용하며, 시간적 스무딩과 필터링을 거친 후 선형 보간을 통해 연속성을 확보한다.

ABSTRACT

The SoccerNet 2023 tracking challenge requires the detection and tracking of soccer players and the ball. In this work, we present our approach to tackle these tasks separately. We employ a state-of-the-art online multi-object tracker and a contemporary object detector for player tracking. To overcome the limitations of our online approach, we incorporate a post-processing stage using interpolation and appearance-free track merging. Additionally, an appearance-based track merging technique is used to handle the termination and creation of tracks far from the image boundaries. Ball tracking is formulated as single object detection, and a fine-tuned YOLOv8l detector with proprietary filtering improves the detection precision. Our method achieves 3rd place on the SoccerNet 2023 tracking challenge with a HOTA score of 66.27.

연구 동기 및 목표

• 고속으로 움직이는 동적인 축구 영상 시퀀스에서 다중 객체 트래킹을 높은 정확도로 해결하기 위해.
• 특히 가림, 작은 객체 크기, 외관 변화 상황에서도 선수와 볼 트래킹의 강건성을 향상시키기 위해.
• 도메인 특화의 미세조정 및 후처리 기법을 통해 검출 및 트래킹 성능을 최적화하기 위해.
• 하이브리드 온라인-오프라인 접근 방식을 사용하여 SoccerNet 2023 트래킹 챌린지에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 선수 트래킹은 이중 단계 접근 방식을 사용한다: 먼저 미세조정된 YOLOv8l 검출기를 통해 선수를 검출하고, 그 다음 DeepOC-SORT++를 통해 트래킹한다.
• 후처리 단계에는 누락된 검출을 복구하기 위한 가우시안 프로세스 보간(GSI)과 외관 정보 없이 트랙을 병합하는 기법(AFLink)이 포함된다.
• 외관 기반 트랙 병합은 이미지 경계에서 멀리 떨어져 종료된 트랙이 빠르게 다시 나타나는 새로운 트랙과 높은 외관 유사도를 보일 경우, 이를 재연결하기 위해 적용된다.
• 볼 트래킹은 저신뢰도 임계값(0.05)을 가진 미세조정된 YOLOv8l 검출기를 사용하는 단일 객체 검출로 간주한다.
• 시간적 필터링은 프레임당 가장 확신 있는 볼 검출에 대해 3차 다항식 스무딩을 적용한 후, 스무딩된 궤적에서 100픽셀 이내의 검출을 선택하는 방식이다.
• 누락된 볼 검출은 선형 보간을 통해 복구하여 지속적인 트래킹 박스 시퀀스를 확보한다.

실험 결과

연구 질문

• RQ1 고속 운동, 가림, 작은 객체 크기 등이 동시에 발생하는 축구 영상에서 온라인 다중 객체 트래킹을 어떻게 향상시킬 수 있는가?
• RQ2 미래 프레임이 가용하지 않을 경우, 후처리 보간 및 트랙 병합이 트래커의 강건성 향상에 어떤 역할을 하는가?
• RQ3 검출기 및 외관 모델의 도메인 특화 미세조정이 SoccerNet 데이터에서 트래킹 성능 향상에 얼마나 기여하는가?
• RQ4 선수와 볼 트래킹을 분리함으로써 통합 트래킹 접근 방식에 비해 전체 HOTA 성능이 얼마나 향상되는가?

주요 결과

• 최종 트래커는 SoccerNet 2023 테스트 세트에서 HOTA 점수 66.27을 기록하여 챌린지에서 3위를 차지했다.
• SoccerNet 데이터에 대해 선수 검출기를 미세조정함으로써 AP@0.5는 COCO에서의 0.954에서 0.990으로 향상되었으며, 이는 강력한 도메인 적응을 의미한다.
• 절단 실험 결과, 미세조정된 검출기가 HOTA 향상에 가장 큰 기여를 했으며, 다른 구성 요소와 조합했을 때 5.9점의 향상 효과를 보였다.
• 외관 기반 트랙 병합은 AFLink와 GSI만을 사용한 후처리 대비 HOTA를 0.38% 향상시켰다.
• 검출기 대신 진짜 라벨(GT) 박스를 사용할 경우, DeepOC-SORT++의 HOTA는 66.00에서 87.85로 상승하여, 검출기 품질이 주요 성능 저하 요인임을 시사한다.
• 자르기 증강 기법을 적용한 외관 모델은 랭크-1 정확도 0.95와 mAP 0.80를 기록했으며, 제한된 개체 수(199개)와 동료 선수 간의 높은 유사도에도 불구하고 뛰어난 성능을 보였다.