[論文レビュー] Opponent Indifference in Rating Systems: A Theoretical Case for Sonas

Bodwin, Greg, Zhang, Forest|arXiv (Cornell University)|Feb 21, 2017

Artificial Intelligence in Games参考文献 18被引用数 28

ひとこと要約

本稿では、予測性能を評価することで、MOBAゲームにおけるプレイヤーのスキルを分解するモデルベースのアプローチを提案する。3つの要因—プレイヤーの基本スキル、チャンピオンの基本スキル、チャンピオン固有のプレイヤーのスキル—を検討する。League of LegendsとDOTA2のデータを用いた統計モデルの分析から、LoLでは3つのスキル要因すべてが寄与しているのに対し、DOTA2では主にチャンピオンの基本スキルが支配的であることが判明し、両ゲーム間の根本的なデザイン的差異が浮き彫りになる。

ABSTRACT

In competitive games, it is common to assign each player a real number rating signifying their skill level. A rating system is a procedure by which player ratings are adjusted upwards each time they win, or downwards each time they lose. Many matchmaking systems give players some control over their opponent’s rating; for example, a player might be able to selectively initiate games against opponents whose ratings are publicly visible, or abort a game without penalty before it begins but after glimpsing their opponent’s rating. It is natural to ask whether one can design a rating system that does not incentivize a rating-maximizing player to act strategically, seeking games against opponents of one rating over another. We show the following: - The full version of this "opponent indifference" property is unfortunately too strong to be feasible. Although it is satisfied by some rating systems, these systems lack certain desirable expressiveness properties, suggesting that they are not suitable to capture most games of interest. - However, there is a natural relaxation, roughly requiring indifference between any two opponents who are both "reasonably evenly matched" with the choosing player. We prove that this relaxed variant of opponent indifference, which we call P opponent indifference, is viable. In fact, a certain strong version of P opponent indifference precisely characterizes the rating system Sonas, which was originally proposed for its empirical predictive accuracy on the outcomes of high-level chess games.

研究の動機と目的

• チームバトル型MOBAゲーム、たとえばLeague of Legends や DOTA2 におけるプレイヤーのスキルの背後要因を理解すること。
• プレイヤーの基本スキル、チャンピオンの基本スキル、チャンピオン固有のプレイヤーのスキルが、試合結果に独立して寄与するかどうかを調査すること。
• 異なるスキル要因が試合結果に与える相対的影響を定量化するためのモデルベースの手法を開発し、検証すること。
• LoLとDOTA2のゲームデザインの違いが、スキル構成とプレイヤーのパフォーマンスにどのように影響するかを明らかにすること。
• 公平なマッチマッチング、チート検出、ゲームやクラウドソーシングの文脈における効果的なチーム編成を支援すること。

提案手法

• League of Legends および DOTA2 のパブリックデータセットから、試合結果の統計を収集する。
• プレイヤーの基本スキル、チャンピオンの基本スキル、チャンピオン固有のプレイヤーのスキルの異なる組み合わせにより、複数のスキル構造仮説を構築する。
• ロジスティック回帰（LR）、TrueSkill、およびベースラインモデル（BL-MC）を用いた複数の予測モデルを採用し、各仮説を評価する。
• テスト精度と統計的有意性検定（例：対応t検定）を用いて、各スキル要因の累積的寄与度を比較する。
• 匿名化実験を実施し、特に DOTA2 におけるデータ品質の問題に起因する結果の頑健性を検証する。
• モデル比較を用いて、試合結果の予測に統計的に有意な要因であるスキル要因を推定する。

実験結果

リサーチクエスチョン

• RQ1 MOBAゲームにおいて、試合結果に最も顕著に影響を与えるスキル要因は、プレイヤーの基本スキル、チャンピオンの基本スキル、それともチャンピオン固有のスキルのうちどれか？
• RQ2 League of Legends と DOTA2 の間で、これらのスキル要因の相対的寄与度にどのような違いが認められるか？
• RQ3 マッチマッチングシステムやデータ品質（例：匿名化）の影響は、スキル分解におけるプレイヤーの基本スキルの検出可能性にどの程度影響を与えるか？
• RQ4 スキル分解モデルは、ベースラインモデルを上回る試合結果予測性能を達成できるか？
• RQ5 LoLとDOTA2のゲームデザインにおける構造的差異は、特定のスキル要因の顕著さにどのように影響を与えるか？

主な発見

• League of Legends において、プレイヤーの基本スキルは試合結果予測に顕著に寄与しており、LR-P はベースライン BL-MC よりも 3.51% の高いテスト精度を示している。
• LoL において、チャンピオン固有のプレイヤーのスキルはさらに予測精度を向上させ、LR-P-C-PC は全モデルの中で最高のテスト精度を達成している。
• DOTA2 において、プレイヤーの基本スキルはベースラインモデルとほとんど差がなく、LR-P の精度は BL-MC とほぼ同一であるため、寄与度は顕著でない。
• DOTA2 においても、チャンピオン固有のスキルはほとんど影響を及ぼさず、LR-P に追加しても精度が 0.13% 増加するにとどまり、有意性は確認されない。
• DOTA2 では、チャンピオンの基本スキルが支配的であり、LR-C は LoL よりも 4% 以上の高いテスト精度を示しており、統計的説明を超える差である。
• 匿名化実験の結果、DOTA2 におけるプレイヤーの基本スキルの検出不能性はデータ品質の問題によるものではないことが確認され、LoL でも同様の匿名化処理を施しても、追加のスキル要因により有意義な精度向上が得られている。