[論文レビュー] Machine learning models for DOTA 2 outcomes prediction

Kodirjon Akhmedov, Anh Huy Phan|arXiv (Cornell University)|Jun 3, 2021

Digital Games and Media参考文献 8被引用数 16

ひとこと要約

本論文は、カスタムGSIベースのPythonサーバーを用いて収集したゲーム内データを用いて、Dota 2の試合結果を予測するリアルタイム機械学習パイプラインを提案する。線形回帰、フィードフォワードニューラルネットワーク、LSTMモデルを評価し、LSTMでは複数ステップ先予測において最大93％の精度を達成し、動的eスポーツ分析における従来モデルを上回る優れた性能を示した。

ABSTRACT

Prediction of the real-time multiplayer online battle arena (MOBA) games' match outcome is one of the most important and exciting tasks in Esports analytical research. This research paper predominantly focuses on building predictive machine and deep learning models to identify the outcome of the Dota 2 MOBA game using the new method of multi-forward steps predictions. Three models were investigated and compared: Linear Regression (LR), Neural Networks (NN), and a type of recurrent neural network Long Short-Term Memory (LSTM). In order to achieve the goals, we developed a data collecting python server using Game State Integration (GSI) to track the real-time data of the players. Once the exploratory feature analysis and tuning hyper-parameters were done, our models' experiments took place on different players with dissimilar backgrounds of playing experiences. The achieved accuracy scores depend on the multi-forward prediction parameters, which for the worse case in linear regression 69\% but on average 82\%, while in the deep learning models hit the utmost accuracy of prediction on average 88\% for NN, and 93\% for LSTM models.

研究の動機と目的

• Dota 2のゲーム内プレイヤーステートを追跡するリアルタイムデータ収集システムを、Valve社のGame State Integration (GSI) を用いて開発すること。
• 線形回帰、ニューラルネットワーク、LSTMを含む機械学習モデルを設計・比較し、リアルタイムでの試合結果予測を行うこと。
• 特徴工学と感度分析を通じて、予測精度に影響を与える主要なゲーム内特徴を同定すること。
• PyQtおよびTkinterを用いて、データ収集およびモデル性能監視を可能にするユーザーフレンドリーなGUIを構築すること。
• 複数ステップ先予測およびプレイヤーのスキルレベルの違いを考慮したモデル性能の評価を行うこと。

提案手法

• Valve社のGame State Integration (GSI) APIを用いて、Dota 2のリアルタイムゲーム状態データを収集するカスタムPythonサーバーを構築した。
• 複数の時間間隔におけるゴールド、経験値、およびヒーロー統計などの意味のあるゲーム内メトリクスを抽出するための特徴工学を適用した。
• 3つのモデルをトレーニングした：線形回帰（LR）、フィードフォワードニューラルネットワーク（NN）、および長短期記憶（LSTM）再帰的ネットワーク。
• 交差検証とグリッドサーチを用いてハイパーパramータチューニングを行い、モデル性能を最適化した。
• リアルタイムデータ収集およびモデル評価を可能にするため、PyQtおよびTkinterを用いてグラフィカルユーザーインターフェース（GUI）を開発した。
• モデル性能は、1ステップから10ステップ先までの複数の前方予測ステップにおける正答率スコアを用いて評価され、試合ごとに報告され、プレイヤー平均で集計された。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムゲーム内データを用いたDota 2の試合結果予測において、従来の機械学習およびディープラーニングモデルの有効性はいかほどか？
• RQ2 複数ステップ先予測のステップ数がモデルの正答率に与える影響は何か？ また、モデルタイプによってその影響はどのように変化するか？
• RQ3 どのゲーム内特徴が試合結果の予測において最も予測可能であり、時間経過とともにどのように変化するか？
• RQ4 LSTMモデルは、フィードフォワードニューラルネットワークおよび線形回帰モデルに比べ、ゲームプレイの時間的ダイナミクスをより効果的に捉えられるか？
• RQ5 プレイヤーの経験レベルやプレイスタイルの違いに応じて、モデルの性能はどのように変化するか？

主な発見

• LSTMモデルは、複数ステップ先予測において平均93％の予測正答率を達成し、線形回帰およびフィードフォワードニューラルネットワークを著しく上回った。
• 線形回帰は最悪ケースで69％の正答率を示したが、全予測の平均では82％を記録し、複雑な時間的パターンの表現能力に限界があることが示された。
• ニューラルネットワークは平均88％の正答率を達成し、優れた性能を示したが、LSTMの時間的モデリング能力には及ばなかった。
• 前方予測ステップ数が増えるほど正答率が低下した。これは、短期的予測において時間遅れ相関が強いことによるもので、短期予測の方が高い正答率が得られた。
• GUIシステムは、リアルタイムでのデータ収集およびモデル評価を成功裏に実現し、モデル推論後にテキストブラウザに動的に結果が表示された。
• 特徴重要度分析の結果、ゴールド差、レベル進捗、およびヒーロー固有の能力が、試合結果の予測において最も影響力のある予測因子であることが判明した。