[논문 리뷰] ShuttleSet: A Human-Annotated Stroke-Level Singles Dataset for Badminton Tactical Analysis

Wei‐Yao Wang, Yung-Chang Huang외 2명|arXiv (Cornell University)|2023. 06. 08.

Sports Analytics and PerformanceEconomics, Econometrics and Finance인용 수 3

한 줄 요약

ShuttleSet는 2018–2021년도 상위 랭킹 선수들에서 나온 44경기, 3,685라운드, 36,492개의 스트로크를 포함하는 대규모로 인간이 레이블링한 스트로크 수준의 배드민턴 단식 데이터셋이다. 레이블러들은 컴퓨터 지원 레이블링 툴을 사용하여 18종류의 샷 유형, 타격 위치, 선수 위치를 기록하였으며, 이는 고급 전술 분석을 가능하게 하고 최신 기술 모델을 활용한 스트로크 예측, 영향력 분석, 이동 예측에 대한 기준 데이터로 기능한다.

ABSTRACT

With the recent progress in sports analytics, deep learning approaches have demonstrated the effectiveness of mining insights into players' tactics for improving performance quality and fan engagement. This is attributed to the availability of public ground-truth datasets. While there are a few available datasets for turn-based sports for action detection, these datasets severely lack structured source data and stroke-level records since these require high-cost labeling efforts from domain experts and are hard to detect using automatic techniques. Consequently, the development of artificial intelligence approaches is significantly hindered when existing models are applied to more challenging structured turn-based sequences. In this paper, we present ShuttleSet, the largest publicly-available badminton singles dataset with annotated stroke-level records. It contains 104 sets, 3,685 rallies, and 36,492 strokes in 44 matches between 2018 and 2021 with 27 top-ranking men's singles and women's singles players. ShuttleSet is manually annotated with a computer-aided labeling tool to increase the labeling efficiency and effectiveness of selecting the shot type with a choice of 18 distinct classes, the corresponding hitting locations, and the locations of both players at each stroke. In the experiments, we provide multiple benchmarks (i.e., stroke influence, stroke forecasting, and movement forecasting) with baselines to illustrate the practicability of using ShuttleSet for turn-based analytics, which is expected to stimulate both academic and sports communities. Over the past two years, a visualization platform has been deployed to illustrate the variability of analysis cases from ShuttleSet for coaches to delve into players' tactical preferences with human-interactive interfaces, which was also used by national badminton teams during multiple international high-ranking matches.

연구 동기 및 목표

• 배드민턴과 같은 전술 기반 턴제 스포츠에 대해 공개 가능하고 고품질의 스트로크 수준 레이블링 데이터셋이 부족한 문제를 해결하기 위해.
• 정상급 단식 경기에서 각 스트로크에 대해 스트로크 유형, 위치, 선수 위치 등의 구조화된 미세한 메타데이터를 제공하기 위해.
• 특히 전술 패턴 인식 및 예측에 초점을 맞춘 스포츠 분석 분야에서 고급 기계 학습 및 딥러닝 응용을 지원하기 위해.
• 학술 연구와 스포츠 현장 간 격차를 해소하기 위해 코치 및 분석가들이 기술적 전문 지식 없이도 상호작용 가능한 시각화 플랫폼을 통해 선수 전략을 탐색할 수 있도록 하기 위해.
• 실제 세계의 정상급 배드민턴 데이터를 기반으로 스트로크 영향력, 스트로크 예측, 이동 예측에 대한 기준을 설정하기 위해.

제안 방법

• 데이터셋은 전문가들이 S2-레이블링 툴을 사용하여 수작업으로 레이블링하여 구축되었으며, 이는 스트로크 수준 이벤트의 효율적이고 일관된 레이블링을 지원한다.
• 각 스트로크는 BLSR 형식을 사용하여 18종류의 서로 다른 샷 유형, 타격 위치, 타격 시 선수 위치를 레이블링하였다.
• 컴퓨터 지원 레이블링 인터페이스는 레이블링 시간을 단축시키고 일관성을 높여 고속의 복잡한 시퀀스에서 인간 오류를 최소화하였다.
• 데이터셋은 2018–2021년도 동안 27명의 정상급 남녀 단식 선수들이 참가한 44경기, 104세트, 3,685라운드를 포함한다.
• 다양한 벤치마크를 설정하였으며, 스트로크 영향력(분류), 스트로크 예측(시퀀스 모델링), 이동 예측(공간시계열 예측)을 포함한다.
• 코치 및 분석가들이 기술적 전문 지식 없이도 실제 경기 데이터를 기반으로 전술 패턴을 탐색할 수 있도록 상호작용 가능한 시각화 플랫폼을 개발하였다.

Figure 1. Two examples with potential returning strokes of men’s and women’s singles.

실험 결과

연구 질문

• RQ1 배드민턴의 스트로크 수준 레이블링은 기계 학습 모델의 전술 예측 및 행동 인식 성능을 어떻게 향상시킬 수 있는가?
• RQ2 정상급 남성과 여성 단식 선수 간의 선수 위치 및 샷 선택 패턴의 주요 차이는 무엇인가?
• RQ3 기존의 스트로크 및 위치 데이터를 기반으로 시퀀스 기반 모델이 다음 스트로크 또는 이동을 얼마나 정확하게 예측할 수 있는가?
• RQ4 예를 들어 준결승과 결승전과 같은 다른 경기 단계에서 네트 샷 사용 및 코트 커버리지와 같은 전술 패턴은 어떻게 다를까?
• RQ5 스트로크 수준의 데이터셋 기반 상호작용 가능한 시각화 플랫폼은 코치가 선수 전략과 상대 팀의 경향성을 분석하는 데 효과적으로 기여할 수 있는가?

주요 결과

• ShuttleSet는 스트로크 수준의 레이블링을 포함한 가장 큰 공개된 배드민턴 단식 데이터셋으로, 44경기의 정상급 경기에서 총 36,492개의 스트로크를 포함한다.
• 데이터셋은 18종류의 서로 다른 샷 유형, 정밀한 타격 위치, 각 스트로크 시의 선수 위치를 포함하여 미세한 수준의 전술 분석을 가능하게 한다.
• 벤치마크 결과는 현재 모델들이 스트로크 영향력, 예측, 이동 예측 작업에서 양호한 성능를 보이지만 최적의 성능는 아니며, 향후 개선 여지가 있음을 시사한다.
• 비터 비크터 아크셀센과 켄토 모모타의 경기 분석 결과, 일관된 중앙 위치 선점과 효과적인 네트 샷 사용이 전면 공격 상황에서 높은 성공률과 연관되어 있음을 확인하였다.
• 시각화 플랫폼은 국가 대표 배드민턴 팀이 국제 대회에서 상대 팀의 전술을 분석하는 데 성공적으로 활용되었으며, 실제 응용 가능성을 입증하였다.
• 이 데이터셋과 벤치마크는 턴제 스포츠 분석 분야에서 시퀀스 모델링, 그래프 기반 방법, 선수 스타일 비교 분야의 연구를 자극할 것으로 기대된다.

Figure 2. The matchup matrix of men’s singles.