[论文解读] Analysis of player's in-game performance vs rating: Case study of Heroes of Newerth

Neven Čaplar, Mirko Sužnjević+1 more|arXiv (Cornell University)|May 22, 2013

Peer-to-Peer Network Technologies参考文献 10被引用 3

一句话总结

本研究通过将游戏内表现指标（如APM、击杀数、死亡数、助攻数、补兵数及账号年龄）与分配的玩家评分进行相关性分析，评估了《英雄之怒》（HoN）匹配评分（MMR）系统的有效性。基于338,681名玩家的数据集，作者发现尽管MMR通常能反映玩家真实水平，但仍存在可被利用的缺陷，包括故意的MMR下调以及技能定位缓慢等问题，导致‘小号’和低水平玩家能够获得高于其实际表现的排名。

ABSTRACT

We evaluate the rating system of "Heroes of Newerth" (HoN), a multiplayer online action role-playing game, by using statistical analysis and comparison of a player's in-game performance metrics and the player rating assigned by the rating system. The datasets for the analysis have been extracted from the web sites that record the players' ratings and a number of empirical metrics. Results suggest that the HoN's Matchmaking rating algorithm, while generally capturing the skill level of the player well, also has weaknesses, which have been exploited by players to achieve a higher placement on the ranking ladder than deserved by actual skill. In addition, we also illustrate the effects of the choice of the business model (from pay-to-play to free-to-play) on player population.

研究动机与目标

• 评估HoN匹配评分（MMR）系统在多大程度上准确反映玩家真实技能水平。
• 识别可被利用的行为模式，使玩家能够获得高于其实际游戏表现的排名。
• 研究游戏商业模式（付费游玩 vs. 免费游玩）对玩家群体分布及评分晋升的影响。
• 评估新玩家基于表现指标与账号年龄的MMR定位速度与一致性。
• 增进对玩家行为模式及其对评分系统完整性影响的理解。

提出的方法

• 从公开的HoN玩家数据库中收集性能数据，包括MMR、APM、击杀/死亡比、助攻数、补兵数及账号年龄。
• 使用统计相关性分析，比较大规模玩家样本中游戏内指标（如APM、击杀数、补兵数）与MMR之间的关系。
• 通过热力图与散点图可视化MMR与账号年龄、游戏场次等变量之间的关系。
• 通过生成多个3,000名以上的随机子样本并重新评估APM与MMR的相关性，进行样本一致性检验。
• 识别诸如胜率/败率与击杀/死亡比不一致等行为异常，以检测潜在的MMR操纵行为。
• 分析历史数据，将商业模式转变（从付费游玩到免费游玩）与玩家群体及评分分布的变化进行关联。

实验结果

研究问题

• RQ1 HoN的MMR系统在多大程度上准确反映玩家的真实游戏表现？
• RQ2 哪些游戏内指标（如APM、补兵数、击杀数）与MMR相关性最强？这些指标在不同技能等级区间内有何差异？
• RQ3 是否存在可被利用的行为（如故意降低MMR或输赢交易），使玩家绕过基于技能的定位机制？
• RQ4 从付费游玩转向免费游玩的商业模式转变，如何影响玩家分布与评分晋升随时间的变化？
• RQ5 MMR系统为新玩家分配至正确技能等级的速度如何？哪些因素会影响这一过程？

主要发现

• MMR系统通常与游戏内表现良好相关，尤其与APM、击杀数和补兵数等指标呈显著正相关趋势，且随MMR提升而增强。
• 高排名玩家在补兵方面表现尤为突出，几乎所有顶级玩家均具备补兵能力，表明该机制是高水平玩家的关键区分特征。
• 大量玩家表现出异常行为，如低击杀/死亡比搭配高胜率，暗示存在故意MMR操纵或团队协作式漏洞利用。
• 2011年7月从付费游玩转向免费游玩的商业模式转变，导致新账号数量急剧上升（数据收集前约400天），在账号年龄分布中表现为明显峰值。
• 账号年龄极短（<50天）的玩家极少出现在高MMR等级区间，表明MMR快速膨胀现象罕见，系统对玩家技能等级的定位过程相对缓慢。
• 样本一致性测试显示，多个随机子样本间相关性差异极小，证实所观察到的相关性稳定，非抽样偏差所致。