[论文解读] A Confidence-Calibrated MOBA Game Winner Predictor

Donghee Kim, Chang-Woo Lee+1 more|arXiv (Cornell University)|Jun 28, 2020

Artificial Intelligence in Games参考文献 10被引用 4

一句话总结

该论文提出了一种数据不确定性感知的置信度校准方法，用于预测多人在线战术竞技场（MOBA）游戏《英雄联盟》的胜者。由于该游戏存在高度依赖输入的噪声，该方法通过引入一种新颖的数据不确定性损失函数，根据输入特定的不确定性动态调整置信度，实现了最先进的校准性能，将期望校准误差（ECE）降低至0.57%，显著优于传统方法如温度缩放（ECE为1.11%）。

ABSTRACT

In this paper, we propose a confidence-calibration method for predicting the winner of a famous multiplayer online battle arena (MOBA) game, League of Legends. In MOBA games, the dataset may contain a large amount of input-dependent noise; not all of such noise is observable. Hence, it is desirable to attempt a confidence-calibrated prediction. Unfortunately, most existing confidence calibration methods are pertaining to image and document classification tasks where consideration on uncertainty is not crucial. In this paper, we propose a novel calibration method that takes data uncertainty into consideration. The proposed method achieves an outstanding expected calibration error (ECE) (0.57%) mainly owing to data uncertainty consideration, compared to a conventional temperature scaling method of which ECE value is 1.11%.

研究动机与目标

• 解决神经网络在《英雄联盟》等MOBA游戏中预测时出现的过度自信与不足自信问题。
• 通过考虑实时MOBA游戏数据中固有的输入相关噪声，提升预测的可靠性。
• 开发一种专为不确定性分布不均的游戏环境设计的置信度校准方法。
• 在校准误差指标上超越现有技术，如温度缩放和矩阵缩放。

提出的方法

• 引入一种数据不确定性损失函数，同时建模输入特定的不确定性（σ）与预测置信度（μc），以更精确地校准置信度分数。
• 通过在标准交叉熵损失中增加一项惩罚项，当输入不确定性较高时对过度自信进行惩罚。
• 使用多层感知机（MLP），输入特征包括游戏进行时间、英雄组合、金币/经验差值以及击杀数。
• 采用基于可靠性图的评估方法，可视化不同置信度区间内预测置信度与实际准确率的关系。
• 采用M=10个均匀划分的置信度区间分箱策略，用于计算ECE、MCE和NLL。
• 使用Adam优化器，以固定学习率1e-4在83,875场训练赛和10,000场测试赛上训练20个周期。

实验结果

研究问题

• RQ1 一种显式建模输入相关数据不确定性的置信度校准方法，能否提升MOBA游戏中预测的可靠性？
• RQ2 所提出的不确定性损失函数在ECE和MCE指标上，相较于温度缩放等标准校准技术表现如何？
• RQ3 在输入数据中考虑不确定性，是否能提升泛化能力并减少实时电子竞技预测中的过度自信？
• RQ4 所提出的方法是否能在保持高准确率的同时，实现优于现有Platt缩放方法的校准性能？

主要发现

• 所提方法实现了最低的期望校准误差（ECE）0.57%，显著优于温度缩放（1.11%）及其他Platt缩放方法。
• 采用数据不确定性损失训练的模型准确率达到73.81%，高于矩阵缩放（73.05%）和未经校准的基线模型（72.95%）。
• 最大校准误差（MCE）降低至1.26%，为所有对比方法中的最佳表现。
• 可靠性图显示，所提方法在所有置信度区间的预测置信度与实际准确率之间的差距最小化。
• NLL值为0.515，略高于温度缩放的0.505，但校准指标的显著提升弥补了这一微小代价。
• 该方法通过根据输入特定的不确定性动态调整置信度，有效缓解了过度自信与不足自信问题，而温度缩放则对logits进行统一缩放，无法实现这种自适应调整。