[論文レビュー] ESTA: An Esports Trajectory and Action Dataset

Peter Xenopoulos, Claudio Silva|arXiv (Cornell University)|Sep 20, 2022

Gambling Behavior and Treatments被引用数 8

ひとこと要約

本論文では、オープンソースのawpyライブラリを用いて抽出した、1,558試合のプロフェッショナルな『Counter-Strike: Global Offensive』の試合から得られた860万件のプレイヤー行動および41万7,000件の軌跡を含む大規模かつ公開可能なデータセット、ESTAを紹介する。このデータセットにより、勝利確率予測モデルのベンチマークが可能となり、セットベースのモデルは、『セーブ』戦略などのゲーム知識とより整合性があるが、わずかに高い対数損失を示すものの、ベクトルベースのアプローチよりも優れていることが示された。

ABSTRACT

Sports, due to their global reach and impact-rich prediction tasks, are an exciting domain to deploy machine learning models. However, data from conventional sports is often unsuitable for research use due to its size, veracity, and accessibility. To address these issues, we turn to esports, a growing domain that encompasses video games played in a capacity similar to conventional sports. Since esports data is acquired through server logs rather than peripheral sensors, esports provides a unique opportunity to obtain a massive collection of clean and detailed spatiotemporal data, similar to those collected in conventional sports. To parse esports data, we develop awpy, an open-source esports game log parsing library that can extract player trajectories and actions from game logs. Using awpy, we parse 8.6m actions, 7.9m game frames, and 417k trajectories from 1,558 game logs from professional Counter-Strike tournaments to create the Esports Trajectory and Actions (ESTA) dataset. ESTA is one of the largest and most granular publicly available sports data sets to date. We use ESTA to develop benchmarks for win prediction using player-specific information. The ESTA data is available at https://github.com/pnxenopoulos/esta and awpy is made public through PyPI.

研究の動機と目的

• 機械学習研究のための、大規模で綺麗でアクセス可能なスポーツデータの不足を解消すること。
• 高コスト、プライバシー懸念、アクセス制限といった、従来のスポーツデータの制限を克服すること。
• eスポーツのゲームログは公開されており、空間的・時間的詳細が豊富であるため、スケーラブルで高精細な代替手段を構築すること。
• スポーツアナリティクスおよび軌跡モデリング分野の研究を支援するため、公開可能なデータセットとパーサーツールを開発すること。
• プレイヤー固有の空間的・時間的データを用いた勝利確率予測のための機械学習モデルのベンチマークを実施すること。

提案手法

• 2Hz解像度でプレイヤー行動、位置、ゲーム状態メタデータを抽出できるPythonライブラリ「awpy」を開発。このライブラリは、『Counter-Strike』のリプレイファイルを解析・可視化する機能も備える。
• awpyを用いて1,558試合のプロフェッショナルなCSGO試合ログを解析し、860万件の行動、790万フレーム、41万7,000件のプレイヤー軌跡を抽出した。
• 再現可能性と拡張性を確保するため、ゲームラウンドオブジェクトを含むJSON形式にデータを構造化した。
• プレイヤーの軌跡および行動データを用いて勝利確率を予測するため、ベクトルベースおよびセットベースの深層学習モデル（Set Transformersを含む）を適用した。
• ラウンド数の照合と、サーバーサイドプラグインおよびエッジケースに対するパーサーの頑健性を確認することで、データセットの妥当性を検証した。
• 勝利確率予測のベンチマークを提供し、対数損失とゲーム内戦略知識との定性的な整合性を用いて、モデルの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 eスポーツのゲームログを用いて、連携された軌跡と行動データを備えた大規模で高精細かつ公開可能なスポーツデータセットを構築できるか？
• RQ2 プレイヤーの軌跡および行動特徴を用いた場合、ベクトルベースとセットベースの深層学習モデルの勝利確率予測性能にはどのような差があるか？
• RQ3 モデルの予測は、『カウンターテロリスト』プレイヤーが装備を保全するためにラウンドを意図的に失うという戦略的『セーブ』のような、一般的なゲーム知識とどの程度整合しているか？
• RQ4 ESTAデータセットは、勝利予測を超えて、軌跡予測や強化学習の事前学習といった多様な機械学習タスクを支援できるか？
• RQ5 ゲーム状態のサンプリング周波数（2Hz）は、ファーストパーソンeスポーツにおける微細なゲームダイナミクスのモデリングにどのような影響を及えるか？

主な発見

• ESTAデータセットには、1,558試合のプロフェッショナルなCSGO試合から得られた860万件の行動、790万フレーム、41万7,000件のプレイヤー軌跡が含まれており、連携された追跡データとイベントデータを備えた、公開可能なスポーツデータセットとしては最大級のものである。
• awpyライブラリは、大規模なゲームログの解析に成功し、プレイヤー行動および位置の再現可能な抽出を可能にした。このライブラリはPyPI経由で公開されており、一般利用可能である。
• Set Transformersを含むセットベースのモデルは、CTプレイヤーが装備を保全するために意図的にラウンドを失う『セーブ』戦略といった、高レベルのゲーム現象をよりよく捉えているが、わずかに高い対数損失を示す。
• ベクトルベースのモデルは、ボム設置後の2対1状況において勝利確率を過大評価するが、セットベースのモデルはより慎重であり、熟練プレイヤーの知識と整合性がある。
• 元の試合ログとのラウンド数の一貫性を確認した結果、データセットは一般的なサーバーサイドプラグインおよびエッジケースに対しても頑健であることが検証された。
• ESTAは、その豊富な空間的・時間的構造と公開性のおかげで、勝利予測を超えて、軌跡予測、強化学習の事前学習、ビジュアルアナリティクスといった多様な応用を可能にする。