[논문 리뷰] Player Tracking and Identification in Ice Hockey

Kanav Vats, Pascale Walters외 3명|arXiv (Cornell University)|2021. 10. 06.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 다중 객체 추적, 팀 분류, 시간적 1D CNN를 통한 선수 식별을 포함하는 3단계 파이프라인을 사용하여 NHL 방송 영상에서 선수를 자동으로 추적하고 식별하는 시스템을 제시한다. 이 시스템은 트랙렛, 팀 레이블, NHL 로스터 데이터를 활용하여 82.8%의 선수 식별 정확도를 달성하였으며, MOTA는 94.5%, IDF1은 62.9%를 기록한다.

ABSTRACT

Tracking and identifying players is a fundamental step in computer vision-based ice hockey analytics. The data generated by tracking is used in many other downstream tasks, such as game event detection and game strategy analysis. Player tracking and identification is a challenging problem since the motion of players in hockey is fast-paced and non-linear when compared to pedestrians. There is also significant camera panning and zooming in hockey broadcast video. Identifying players in ice hockey is challenging since the players of the same team look almost identical, with the jersey number the only discriminating factor between players. In this paper, an automated system to track and identify players in broadcast NHL hockey videos is introduced. The system is composed of three components (1) Player tracking, (2) Team identification and (3) Player identification. Due to the absence of publicly available datasets, the datasets used to train the three components are annotated manually. Player tracking is performed with the help of a state of the art tracking algorithm obtaining a Multi-Object Tracking Accuracy (MOTA) score of 94.5%. For team identification, the away-team jerseys are grouped into a single class and home-team jerseys are grouped in classes according to their jersey color. A convolutional neural network is then trained on the team identification dataset. The team identification network gets an accuracy of 97% on the test set. A novel player identification model is introduced that utilizes a temporal one-dimensional convolutional network to identify players from player bounding box sequences. The player identification model further takes advantage of the available NHL game roster data to obtain a player identification accuracy of 83%.

연구 동기 및 목표

• 시각적으로 거의 동일한 선수들(유니폼 번호를 제외하고)이 포함된 아이스하키 방송 영상에서 선수 추적 및 식별을 위한 종단 간 자동화된 시스템을 개발하는 것.
• 고속의 비선형 운동과 동적 카메라 움직임으로 인해 추적 및 재식별이 어려운 아이스하키 영상 환경에서의 도전 과제를 해결하는 것.
• 공개적으로 이용 가능한 벤치마크가 없기 때문에, 선수 추적, 팀 식별, 선수 식별을 위한 새로운 데이터셋을 구축하고 주석을 붙이는 것.
• 선수 트랙렛의 시간적 맥락과 로스터 데이터를 통합하여 선수 식별 정확도를 향상시키는 것.
• 확률 윈도우에 대한 다수결 투표와 후처리를 통해 신뢰도를 높이고 정체성 전환 및 오분류 오류를 줄이는 것.

제안 방법

• 최신 추적 알고리즘을 사용하여 선수 추적을 수행하였으며, 커스텀 데이터셋에서 MOTA가 94.5%를 기록하였다.
• 팀 식별은 유니폼 색상 기반으로 홈 팀을 군집화하고 어웨이 팀은 하나의 클래스로 묶는 컨볼루션 신경망(CNN)을 사용하여 수행된다.
• 선수 경계 상자(트랙렛)의 시퀀스를 처리하는 새로운 시간적 1D CNN 모델이 개발되었으며, 이는 프레임 간 시간적 맥락을 활용하여 유니폼 번호를 식별한다.
• 선수 식별 모델은 트랙렛 특징과 경기 로스터 데이터를 융합하여, 각 선수별 벡터(v_a 및 v_p)를 계산함으로써 예측을 정밀하게 조정한다.
• 추론 파이프라인은 유니폼 번호가 가능성이 있는 프레임을 탐지하기 위해 가시성 필터를 적용한 후, 가중 평균을 통한 확률 집계와 후처리를 통해 잡음 신호를 억제한다.
• 후처리 단계에서 다수결 투표와 null 클래스 처리를 통해 정확도를 향상시키며, 최종 예측은 집계된 확률 기반으로 결정된다.

실험 결과

연구 질문

• RQ1 팀원 간 시각적 차이가 거의 없는 빠른 속도의 아이스하키 방송 영상에서, 어떻게 효과적으로 선수 추적 및 식별을 수행할 수 있는가?
• RQ2 트랙렛의 시간적 맥락과 외부 경기 데이터(예: 로스터)를 어떻게 조합하여 식별 정확도를 향상시킬 수 있는가?
• RQ3 가시성 필터링과 확률 집계는 실세계 방송 영상에서 선수 식별의 정확도와 내구성에 어떤 영향을 미치는가?
• RQ4 트랙렛 윈도우에 대한 다수결 투표와 후처리를 통해 팀 식별 오류를 얼마나 줄일 수 있는가?
• RQ5 경기 로스터 데이터를 통합함으로써 종합적인 추적 파이프라인에서 전체 선수 식별 성능은 어느 정도 향상되는가?

주요 결과

• 선수 추적 모듈은 커스텀 데이터셋에서 다중 객체 추적 정확도(MOTA)가 94.5%를 기록하여 뛰어난 성능을 입증하였다.
• 팀 식별 모델은 테스트 세트에서 96.6%의 정확도를 기록하였으며, 새로운 경기에서의 미세조정이 필요 없었다.
• 제안된 1D CNN 기반의 선수 식별 모델은 가시성 필터링과 후처리를 적용한 결과 83.17%의 정확도를 달성하였으며, 이는 이전 연구 대비 9.9% 향상된 성능이다.
• 경기 로스터 데이터를 통합함으로써 전체 시스템의 정확도는 13개의 테스트 영상 평균에서 77.9%에서 82.8%로 향상되었다.
• 영상 11의 경우, 로스터 벡터 도입으로 인해 정확도 향상이 24.44%에 달했으며, 이는 저조도 상황에서 맥락 정보의 중요성을 입증한다.
• 제거 실험 결과, 가시성 필터링과 후처리가 필수적임을 확인하였으며, 이들을 제거하면 최적의 집계 조건에서도 정확도가 2.37% 이상 감소하였다.