[論文レビュー] Analysis of player's in-game performance vs rating: Case study of Heroes of Newerth

Neven Čaplar, Mirko Sužnjević+1 more|arXiv (Cornell University)|May 22, 2013

Peer-to-Peer Network Technologies参考文献 10被引用数 3

ひとこと要約

本研究では、ゲーム内パフォーマンス指標（APM、キル、デス、アシスト、デニュール、アカウント年数など）と割り当てられたプレイヤー評価の相関関係をもとに、Heroes of Newerth（HoN）のマッチメイキングレーティング（MMR）システムを評価している。338,681名のプレイヤーからなるデータセットを用いて、MMRは一般にプレイヤーのスキルを反映しているが、意図的なMMR低下やスキルの早期配置が困難であるという脆弱性が存在し、これが『スムーファー』や低スキルプレイヤーが望ましくない順位にランクアップするのを可能にしている。

ABSTRACT

We evaluate the rating system of "Heroes of Newerth" (HoN), a multiplayer online action role-playing game, by using statistical analysis and comparison of a player's in-game performance metrics and the player rating assigned by the rating system. The datasets for the analysis have been extracted from the web sites that record the players' ratings and a number of empirical metrics. Results suggest that the HoN's Matchmaking rating algorithm, while generally capturing the skill level of the player well, also has weaknesses, which have been exploited by players to achieve a higher placement on the ranking ladder than deserved by actual skill. In addition, we also illustrate the effects of the choice of the business model (from pay-to-play to free-to-play) on player population.

研究の動機と目的

• HoNのマッチメイキングレーティング（MMR）システムが、プレイヤーの真のスキルレベルをどの程度正確に反映しているかを評価すること。
• プレイヤーの実際のゲーム内パフォーマンスに見合わない順位を得るために利用可能な行動（例：意図的なMMR低下、勝利交換）を特定すること。
• 課金制（プレイ料金制）と無料プレイ制のゲームビジネスモデルが、プレイヤーの人口分布とレーティング進捗に与える影響を検討すること。
• 新規プレイヤーのパフォーマンス指標とアカウント年数に基づいて、MMRの初期配置がどの程度速くかつ一貫しているかを評価すること。
• プレイヤー行動パターンの理解を深め、それがレーティングシステムの整合性に与える影響を向上させること。

提案手法

• 公開のHoNプレイヤーDBから、MMR、APM、キル/デスレート、アシスト、デニュール、アカウント年齢などのパフォーマンスデータを収集した。
• 統計的相関分析を用いて、大規模なプレイヤーサンプル全体でゲーム内指標（例：APM、キル、デニュール）とMMRの相関関係を比較した。
• アカウント年齢やゲーム数といった変数とMMRの関係を可視化するために、ヒートマップと散布図を適用した。
• 複数回のランダムサブセット（3,000名以上）を生成し、APM-MM R相関を再評価することで、サンプルの整合性を確認した。
• 勝敗やキル/デスレートの不整合といった行動の異常を特定し、MMR操作の可能性を検出するための分析を行った。
• 歴史的データを分析し、プレイ料金制から無料プレイ制へのビジネスモデルの移行が、プレイヤー人口とレーティング分布に与えた影響を相関づけた。

実験結果

リサーチクエスチョン

• RQ1 HoNのMMRシステムは、プレイヤーの真のゲーム内パフォーマンスをどの程度正確に反映しているか？
• RQ2 APM、デニュール、キルなどのゲーム内指標の中で、MMRと最も強い相関を示すのはどれであり、その相関関係はスキルティアに応じてどのように変化するか？
• RQ3 キル/デスレートの不均衡や勝利交換といった、意図的なMMR低下やチームプレイによる抜け道のような利用可能な行動は存在するか？
• RQ4 2011年7月にプレイ料金制から無料プレイ制に移行したことで、プレイヤーの分布とレーティング進捗にどのような変化が生じたか？
• RQ5 新規プレイヤーのMMRシステムは、どのくらいの速さで正しいスキルレベルに割り当てられるのか？このプロセスに影響を与える要因は何か？

主な発見

• MMRシステムは一般にゲーム内パフォーマンスと良好に相関しており、特にAPM、キル、デニュールといった指標は、MMRの上昇に伴い明確な正の傾向を示している。
• 上位ティアのプレイヤーは、デニュールにおいて一貫して優れたパフォーマンスを示しており、ほぼ全員がネイティブのクリープをデニュールしていることから、このメカニクスが熟練プレーヤーの重要な特徴であると判明した。
• 多くのプレイヤーが異常行動を示しており、キル/デスレートが低くても勝率が高くなる傾向があることから、意図的なMMR操作やチームベースの抜け道が行われている可能性が示唆された。
• 2011年7月にプレイ料金制から無料プレイ制に移行したことで、新規アカウントが急増（データ収集の約400日前にピーク）し、アカウント年齢分布に明確な増加が観察された。
• アカウント作成後50日以内のプレイヤーは、高MMRブレットにほとんど存在しないことから、MMRの急激な上昇は稀であり、システムがプレイヤーの適正なスキルレベルに到達するまでに時間がかかっていることが示された。
• サンプルの整合性テストでは、複数のランダムサブセットで変動が最小限に抑えられ、観察された相関関係がサンプリングバイアスの結果ではなく、安定したものであることが確認された。