[論文レビュー] Win Prediction in Esports: Mixed-Rank Match Prediction in Multi-player Online Battle Arena Games

Joanna Hodge, Sam Devlin+4 more|arXiv (Cornell University)|Nov 17, 2017

Digital Games and Media被引用数 23

ひとこと要約

本稿では、プロ選手データのみでは不十分なため、プロと極めて高いスキルを持つアマチュア選手の混合ランクDotA 2対戦データを活用して、プロゲーミングの対戦結果を予測する機械学習モデルを訓練することを提案する。わずかに精度が低下するものの、混合ゲーム内データで訓練されたモデルは、プロ対戦においても優れた性能を示し、MOBAにおける信頼できる勝敗予測のため、限られたプロデータを補完するために高スキルアマチュアデータが効果的に活用できることを示している。

ABSTRACT

Esports has emerged as a popular genre for players as well as spectators, supporting a global entertainment industry. Esports analytics has evolved to address the requirement for data-driven feedback, and is focused on cyber-athlete evaluation, strategy and prediction. Towards the latter, previous work has used match data from a variety of player ranks from hobbyist to professional players. However, professional players have been shown to behave differently than lower ranked players. Given the comparatively limited supply of professional data, a key question is thus whether mixed-rank match datasets can be used to create data-driven models which predict winners in professional matches and provide a simple in-game statistic for viewers and broadcasters. Here we show that, although there is a slightly reduced accuracy, mixed-rank datasets can be used to predict the outcome of professional matches, with suitably optimized configurations.

研究の動機と目的

• プロ対戦データの不足を解消するため、極めて高いスキルを持つアマチュアデータを補完して予測モデルの訓練を行うこと。
• 異なるスキルレベルにおけるプレイヤー行動の違いを考慮しても、プロ対戦の結果を信頼性を持って予測できるかを評価すること。
• ゲーム内およびヒーロー選択特徴量を用いて、プロMOBA対戦の勝敗予測に最も効果的な機械学習アルゴリズムおよび設定（ハイパーパramータ、特徴量セットなど）を特定すること。
• 放送局や視聴者が活用できる、実時間での勝敗予測を可能にする実用的でデータ駆動型のフレームワークを構築すること。

提案手法

• 本研究では、プロ対戦と極めて高いスキルを持つアマチュア対戦を組み合わせた混合ランクデータセットを用い、より広範なデータカバレッジを確保する。
• 特徴工学により、ゲーム内タイムシリーズ統計（例：ゴールド、経験値、キル/デスレート）およびプレーゲーム前のヒーロー選択データを抽出する。
• 主にランダムフォレストとロジスティック回帰の2つの機械学習アルゴリズムを評価し、性能最適化のための広範なハイパーパramータチューニングと特徴量選択を実施する。
• モデルは混合ランクデータで訓練され、未観測のプロ対戦データでテストされ、汎化性能と予測精度を評価する。
• 予測精度を、異なるデータタイプ（ヒーロー選択対ゲーム内状態）およびモデル設定の間で比較し、最適な構成を同定する。
• 研究では、試合進行に伴うモデル性能を評価するため、20分ごとの時間ベースの評価戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 プロ対戦と極めて高いスキルを持つアマチュア対戦を組み合わせた混合ランクデータセットを用いて、プロ対戦の結果を正確に予測できるモデルを訓練できるか？
• RQ2 プロ対戦の結果を予測する際、プロデータのみで訓練されたモデルと比較して、混合データで訓練されたモデルの予測精度はどの程度か？
• RQ3 どの機械学習アルゴリズムおよび設定（例：ハイパーパramータ、特徴量セット）が、プロ対戦の予測精度を最も高めるか？
• RQ4 ヒーロー選択特徴量とゲーム内状態特徴量のどちらが、プロ対戦の結果予測において優れているか？
• RQ5 試合の長さが予測精度に与える影響は何か？また、プロ対戦とアマチュア対戦ではその影響に差があるか？

主な発見

• 混合ランクゲーム内データで訓練されたモデルは、プロ対戦における予測精度が、混合データでの性能に比べわずかに低下するにとどまり、優れた汎化性能を示している。
• ヒーロー選択特徴量のみでは、プロ対戦の結果予測に不十分である。なぜなら、プロの選択は非標準的で戦略的に複雑なパターンを示しており、アマチュアデータでは捉えきれないからである。
• ゲーム内タイムシリーズ特徴量（例：ゴールド、経験値、キル/デス差）は、ヒーロー選択特徴量よりも顕著に予測力が高く、特にプロ対戦において顕著である。
• プロ対戦とアマチュア対戦の最適なモデル設定は異なり、プロ対戦は独自の行動パターンを持つため、別個のモデリングアプローチを要することが示された。
• プロ対戦は平均してより長く続く（100%のプロゲームが20分以上継続するのに対し、すべてのゲームの97.6%が20分以上）が、これは不確実性の増加に起因し、予測精度の低下と相関している。
• 本研究では、混合ランクデータが限られたプロデータを補完するのに効果的であることを示し、プロゲーミングにおける信頼できるデータ駆動型勝敗予測フレームワークの構築に成功した。