[논문 리뷰] Towards Structured Analysis of Broadcast Badminton Videos

Anurag Ghosh, Suriya Singh외 1명|arXiv (Cornell University)|2017. 12. 23.

Video Analysis and Summarization참고 문헌 31인용 수 6

한 줄 요약

이 논문은 특수 카메라나 센서를 요구하지 않고, 표준 딥러닝 모델을 활용하여 방송된 배드민턴 영상에 대해 종단 간 자동 구조적 분석을 위한 프레임워크를 제시한다. 10개의 올림픽 경기에서 95.44%의 포인트 분할 정확도, 97.98%의 선수 식별 정확도, 80.48%의 스트로크 분할 에디트 스코어를 달성하여 반응 시간, 속도, 지배력과 같은 실행 가능한 메트릭스를 계산할 수 있게 한다.

ABSTRACT

Sports video data is recorded for nearly every major tournament but remains archived and inaccessible to large scale data mining and analytics. It can only be viewed sequentially or manually tagged with higher-level labels which is time consuming and prone to errors. In this work, we propose an end-to-end framework for automatic attributes tagging and analysis of sport videos. We use commonly available broadcast videos of matches and, unlike previous approaches, does not rely on special camera setups or additional sensors. Our focus is on Badminton as the sport of interest. We propose a method to analyze a large corpus of badminton broadcast videos by segmenting the points played, tracking and recognizing the players in each point and annotating their respective badminton strokes. We evaluate the performance on 10 Olympic matches with 20 players and achieved 95.44% point segmentation accuracy, 97.38% player detection score (mAP@0.5), 97.98% player identification accuracy, and stroke segmentation edit scores of 80.48%. We further show that the automatically annotated videos alone could enable the gameplay analysis and inference by computing understandable metrics such as player's reaction time, speed, and footwork around the court, etc.

연구 동기 및 목표

• 특수 장비나 센서 없이도 비구조적 라이브 배드민턴 영상에 대해 대규모 자동 분석을 가능하게 하기 위해.
• 다중 카메라 시점과 오버레이가 포함된 빠르게 진행되고 가림이 많으며 복잡한 라켓 스포츠 영상 분석의 과제를 해결하기 위해.
• 후속 분석을 위한 프레임 단위의 정교한 선수, 포인트, 스트로크 주석 생성이 가능한 프레임워크를 개발하기 위해.
• 반응 시간, 속도, 발차이, 지배력과 같은 해석 가능한 성능 메트릭스를 계산하여 선수 및 경기 평가를 위해.
• 포인트 수준의 결과와 스트로크 수준의 트랙을 포함한 주석 처리된 배드민턴 영상 데이터셋을 공개 제공하기 위해.

제안 방법

• 프레임 간 선수를 탐지하고 추적하기 위해 표준 객체 검출 모델을 사용한다.
• 배드민턴의 턴 기반 구조를 활용하여 운동 신호와 이벤트 경계를 조합함으로써 게임 포인트의 시간적 분할을 수행한다.
• 개별 배드민턴 스트로크를 분류하고 분할하기 위해 선수별 컷오프 큐브로 구성된 시공간 행동 인식 모듈을 분석한다.
• 외관과 트랙 일관성 기반 재식별 기법을 사용하여 프레임 간 선수 신원을 유지한다.
• 감지된 코트 선을 기반으로 호모지니를 계산하여 카메라 좌표를 정면 시점으로 변환함으로써 정확한 속도 및 이동 거리 추정을 수행한다.
• 상대 선수의 스트로크 이후 다음 선수의 반응까지의 시간 간격을 측정하여 반응 시간을 근사한다.

실험 결과

연구 질문

• RQ1 표준 라이브 방송 영상과 표준 딥러닝 모델만을 사용하여 종단 간 자동 주석 처리가 정확하게 가능할 수 있는가?
• RQ2 비구조적, 다중 시점, 심하게 편집된 라이브 방송 영상에서 포인트 분할, 선수 추적, 스트로크 인식 성능이 어느 정도인가?
• RQ3 주석 처리된 데이터에서 자동으로 유도할 수 있는 해석 가능한 성능 기반 메트릭스(예: 반응 시간, 속도, 지배력)는 무엇이며, 선수 및 경기 분석에 어떻게 활용될 수 있는가?
• RQ4 특수 하드웨어나 데이터 수집 없이도 이 프레임워크가 다양한 선수와 경기 조건에 대해 얼마나 일반화되는가?
• RQ5 실제 라이브 방송 환경에서 이러한 시스템의 주요 실패 원인과 제한 사항은 무엇인가?

주요 결과

• 프레임워크는 10개의 올림픽 배드민턴 경기에서 평균 95.44%의 포인트 분할 정확도를 달성했다.
• 선수 탐지의 경우 평균 정밀도(мAP@0.5)가 97.38%에 도달하여 높은 신뢰성의 선수 식별 능력을 보였다.
• 선수 식별 정확도는 97.98%로 장시간 시퀀스 동안의 강력한 추적 및 재식별 능력을 입증했다.
• 스트로크 분할은 에디트 스코어 80.48%를 기록하여 스트로크 이벤트의 강력한 시간적 정렬 능력을 보였다.
• 주석 처리된 데이터에서 평균 반응 시간, 선수 속도, 지배 패턴과 같은 의미 있는 메트릭스를 성공적으로 계산했다.
• 분석 결과, 더 긴 라운드(스트로크 수가 많은 경우)는 지배력이 떨어지는 경기 단계에서 더 흔히 발생하며, 이는 라운드 길이와 경기 역학 간의 연관성을 시사했다.