[论文解读] Machine learning models for DOTA 2 outcomes prediction

Kodirjon Akhmedov, Anh Huy Phan|arXiv (Cornell University)|Jun 3, 2021

Digital Games and Media参考文献 8被引用 16

一句话总结

本论文提出了一种基于自定义GSI接口Python服务器收集的实时游戏数据，用于预测Dota 2比赛结果的实时机器学习流水线。该研究评估了线性回归、前馈神经网络和LSTM模型，LSTM在多步前向预测中最高达到93%的准确率，证明其在动态电子竞技分析中优于传统模型的性能。

ABSTRACT

Prediction of the real-time multiplayer online battle arena (MOBA) games' match outcome is one of the most important and exciting tasks in Esports analytical research. This research paper predominantly focuses on building predictive machine and deep learning models to identify the outcome of the Dota 2 MOBA game using the new method of multi-forward steps predictions. Three models were investigated and compared: Linear Regression (LR), Neural Networks (NN), and a type of recurrent neural network Long Short-Term Memory (LSTM). In order to achieve the goals, we developed a data collecting python server using Game State Integration (GSI) to track the real-time data of the players. Once the exploratory feature analysis and tuning hyper-parameters were done, our models' experiments took place on different players with dissimilar backgrounds of playing experiences. The achieved accuracy scores depend on the multi-forward prediction parameters, which for the worse case in linear regression 69\% but on average 82\%, while in the deep learning models hit the utmost accuracy of prediction on average 88\% for NN, and 93\% for LSTM models.

研究动机与目标

• 开发一种基于Dota 2游戏内状态集成（GSI）的实时数据采集系统，用于追踪游戏内玩家状态。
• 设计并比较机器学习模型——线性回归（LR）、神经网络（NN）和长短期记忆网络（LSTM）——以实现实时比赛结果预测。
• 通过特征工程和敏感性分析，识别影响预测准确率的关键游戏内特征。
• 使用PyQt和Tkinter构建用户友好的图形用户界面（GUI），用于数据采集和模型性能监控。
• 在不同多步前向预测步数和玩家技能水平下评估模型性能。

提出的方法

• 开发了一个自定义Python服务器，利用Valve公司提供的游戏状态集成（GSI）API，实时收集Dota 2游戏状态数据。
• 通过特征工程提取有意义的游戏内指标，如金币、经验及英雄属性，时间间隔覆盖多个阶段。
• 训练了三种模型：线性回归（LR）、前馈神经网络（NN）和长短期记忆（LSTM）循环神经网络。
• 通过交叉验证和网格搜索进行超参数调优，以优化模型性能。
• 使用PyQt和Tkinter开发图形用户界面（GUI），实现数据的实时采集和模型评估。
• 通过准确率指标评估模型性能，涵盖多个前向预测步数（如1步到10步），结果按场次报告并按玩家平均化。

实验结果

研究问题

• RQ1 传统机器学习与深度学习模型在使用实时游戏内数据预测Dota 2比赛结果方面的有效性如何？
• RQ2 多步前向预测步数对模型准确率的影响是什么？不同模型类型之间有何差异？
• RQ3 哪些游戏内特征最能预测比赛结果？这些特征如何随时间演变？
• RQ4 LSTM模型是否能优于前馈神经网络和线性回归模型，更好地捕捉游戏进程的时间动态？
• RQ5 模型性能在不同经验水平和游戏风格的玩家之间是否存在差异？

主要发现

• LSTM模型在多步前向预测中实现了93%的平均预测准确率，显著优于线性回归和前馈神经网络模型。
• 线性回归模型最低准确率为69%，但所有预测的平均准确率为82%，表明其对复杂时间模式的建模能力有限。
• 神经网络模型平均准确率为88%，表现出较强性能，但仍不及LSTM在时间建模方面的能力。
• 随着前向预测步数的增加，模型准确率下降，短期预测因更强的时间滞后相关性而表现更优。
• GUI系统成功实现了实时数据采集和模型评估，模型推理结果在文本浏览器中动态显示。
• 特征重要性分析表明，金币差值、等级进展以及英雄专属技能是最具影响力的胜负预测因子。