[論文レビュー] ShuttleSet: A Human-Annotated Stroke-Level Singles Dataset for Badminton Tactical Analysis

Wei‐Yao Wang, Yung-Chang Huang+2 more|arXiv (Cornell University)|Jun 8, 2023

Sports Analytics and PerformanceEconomics, Econometrics and Finance被引用数 3

ひとこと要約

ShuttleSet は、2018–2021 年のトップランクプレーヤーによる 44 試合、3,685 ラリー、36,492 ストロークを含む大規模かつ人間がアノテートしたストロークレベルのバドミントンシングルスデータセットです。アノテーターはコンピュータ支援ラベル付けツールを用い、18 種類のショットタイプ、ヒット位置、プレーヤーの位置を記録し、高度な戦術的分析を可能にするとともに、最先端のモデルを用いたストローク予測、影響力評価、移動予測のベンチマークとして機能します。

ABSTRACT

With the recent progress in sports analytics, deep learning approaches have demonstrated the effectiveness of mining insights into players' tactics for improving performance quality and fan engagement. This is attributed to the availability of public ground-truth datasets. While there are a few available datasets for turn-based sports for action detection, these datasets severely lack structured source data and stroke-level records since these require high-cost labeling efforts from domain experts and are hard to detect using automatic techniques. Consequently, the development of artificial intelligence approaches is significantly hindered when existing models are applied to more challenging structured turn-based sequences. In this paper, we present ShuttleSet, the largest publicly-available badminton singles dataset with annotated stroke-level records. It contains 104 sets, 3,685 rallies, and 36,492 strokes in 44 matches between 2018 and 2021 with 27 top-ranking men's singles and women's singles players. ShuttleSet is manually annotated with a computer-aided labeling tool to increase the labeling efficiency and effectiveness of selecting the shot type with a choice of 18 distinct classes, the corresponding hitting locations, and the locations of both players at each stroke. In the experiments, we provide multiple benchmarks (i.e., stroke influence, stroke forecasting, and movement forecasting) with baselines to illustrate the practicability of using ShuttleSet for turn-based analytics, which is expected to stimulate both academic and sports communities. Over the past two years, a visualization platform has been deployed to illustrate the variability of analysis cases from ShuttleSet for coaches to delve into players' tactical preferences with human-interactive interfaces, which was also used by national badminton teams during multiple international high-ranking matches.

研究の動機と目的

• バドミントンのようなターンベーススポーツにおける、公開可能で高品質なストロークレベルのアノテート済みデータセットの不足に対処すること。
• エリートレベルのシングルス試合におけるすべてのストロークについて、ショットタイプ、位置、プレーヤーの位置といった構造的で微細なメタデータを提供すること。
• 特に戦術的パターン認識および予測の分野における、スポーツアナリティクスにおける高度な機械学習およびディープラーニングの応用を支援すること。
• 研究者と実務家との間のギャップを埋めるために、コーチやアナリストがインタラクティブな可視化プラットフォームを通じて戦術を探索できるようにすること。
• 実際のエリートレベルのバドミントンデータを用いて、ストロークの影響力、ストローク予測、移動予測のベンチマークを確立すること。

提案手法

• データセットは、分野の専門家が S2-labeling ツールを用いて手作業でアノテートすることで構築された。このツールはストロークレベルのイベントに対する効率的で一貫性のあるラベリングを支援する。
• 各ストロークは、18 種類の異なるショットタイプ、ヒット時の位置、プレーヤーの位置を、構造化されたデータ表現のための BLSR 形式でラベル付けされた。
• コンピュータ支援ラベル付けインターフェースにより、アノテーション時間の短縮と一貫性の向上が図られ、高速で複雑なシーケンスにおける人為的エラーの低減が達成された。
• データセットは、2018–2021 年の 44 試合をカバーしており、27 名の上位ランクプレーヤー（男子・女子シングルス）が参加し、104 セットと 3,685 ラリーを含む。
• 複数のベンチマークが確立された：ストロークの影響力（分類）、ストローク予測（系列モデル）、移動予測（空間時間的予測）。
• コーチやアナリストが技術的専門知識なしに、実際の試合データを用いて戦術的パターンを探索できるインタラクティブな可視化プラットフォームが開発された。

Figure 1. Two examples with potential returning strokes of men’s and women’s singles.

実験結果

リサーチクエスチョン

• RQ1 バドミントンにおけるストロークレベルのアノテーションは、機械学習モデルの戦術的予測および行動認識性能をどのように向上させるか？
• RQ2 エリートクラスの男子および女子シングルスプレーヤーの間で、プレーヤーの位置取りとショット選択パターンにどのような違いが見られるか？
• RQ3 履歴的なストロークおよび位置情報に基づいて、系列ベースのモデルが次なるストロークや移動をどれほど正確に予測できるか？
• RQ4 ネットショットの使用やコートカバレッジといった戦術的パターンは、試合の段階（例：準決勝 vs 決勝）によってどのように変化するか？
• RQ5 ストロークレベルのデータセットに基づいて構築されたインタラクティブな可視化プラットフォームは、コーチが選手の戦術や相手の傾向を分析するのを効果的に支援できるか？

主な発見

• ShuttleSet は、36,492 ストロークを含む、公開可能なバドミントンシングルスデータセットの中で最大規模であり、44 通のエリートレベルの試合をカバーしている。
• このデータセットには 18 種類の異なるショットタイプ、正確なヒット位置、各ストロークにおけるプレーヤーの位置が含まれており、細分化された戦術的分析が可能である。
• ベンチマークの結果から、現在のモデルはストロークの影響力、予測、移動予測のタスクにおいて、ある程度の性能を示しているが、最適ではないことが判明し、さらなる改善の余地があることが示された。
• ヴィクトル・アクセルセンおよびケント・モモタの試合の分析から、安定した中央位置取りと効果的なネットショットの使用が、フォワードコートでの交戦における成功確率の向上と関連していることが明らかになった。
• 可視化プラットフォームは、国際大会でナショナルバドミントンチームが相手戦術を分析するのを成功裏に支援し、実世界での有用性を実証した。
• このデータセットとベンチマークは、ターンベーススポーツアナリティクス分野における系列モデル、グラフベース手法、プレーヤースタイル比較の分野における研究を促進すると期待される。

Figure 2. The matchup matrix of men’s singles.