[論文レビュー] A Confidence-Calibrated MOBA Game Winner Predictor

Donghee Kim, Chang-Woo Lee+1 more|arXiv (Cornell University)|Jun 28, 2020

Artificial Intelligence in Games参考文献 10被引用数 4

ひとこと要約

本論文は、入力依存のノイズが顕著なMOBAゲーム『League of Legends』における勝者予測のための、データ不確実性に配慮した信頼性補正手法を提案する。入力固有の不確実性に基づいて信頼度を調整する、新しいデータ不確実性損失関数を導入することで、状態の最良（SOTA）の補正性能を達成し、期待補正誤差（ECE）を0.57%まで低減した。これは、温度スケーリング（1.11% ECE）といった従来手法を著しく上回っている。

ABSTRACT

In this paper, we propose a confidence-calibration method for predicting the winner of a famous multiplayer online battle arena (MOBA) game, League of Legends. In MOBA games, the dataset may contain a large amount of input-dependent noise; not all of such noise is observable. Hence, it is desirable to attempt a confidence-calibrated prediction. Unfortunately, most existing confidence calibration methods are pertaining to image and document classification tasks where consideration on uncertainty is not crucial. In this paper, we propose a novel calibration method that takes data uncertainty into consideration. The proposed method achieves an outstanding expected calibration error (ECE) (0.57%) mainly owing to data uncertainty consideration, compared to a conventional temperature scaling method of which ECE value is 1.11%.

研究の動機と目的

• MOBAゲーム（『League of Legends』など）におけるニューラルネットワーク予測の過信と不十分信頼の課題に対処すること。
• リアルタイムMOBAゲームデータに内在する入力依存のノイズを考慮することで、予測の信頼性を向上させること。
• 不確実性が一様に分布しないゲーム環境に特化した信頼性補正手法を開発すること。
• ECEなどの補正誤差指標において、温度スケーリングやマトリックススケーリングといった既存手法を上回ること。

提案手法

• 予測信頼度（μc）と入力固有の不確実性（σ）を同時にモデル化する、新しいデータ不確実性損失関数を導入し、信頼度スコアをより適切に補正する。
• 標準的な交差エントロピー損失に、入力不確実性が高い場合の過信を罰する項を追加することで、損失関数を変更する。
• 試合時間、チャンピオン編成、ゴールド/経験値差、キル数といった入力特徴を用いた、マルチレイヤーパーセプトロン（MLP）を採用する。
• 信頼度と実際の正答率の関係を可視化するため、信頼性図（reliability diagram）を用いた評価を実施する。
• ECE、MCE、NLLを計算するために、M=10個の均等な信頼度区間を用いたビニング戦略を採用する。
• 学習率を固定して1e-4に設定し、20エポックにわたり83,875件の訓練試合および10,000件のテスト試合で、Adam最適化手法を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 入力依存のデータ不確実性を明示的にモデル化する信頼性補正手法は、MOBAゲームにおける予測信頼性を向上させることができるか？
• RQ2 提案手法のデータ不確実性損失関数は、温度スケーリングといった標準的手法と比較して、ECEおよびMCEの観点で優れているか？
• RQ3 入力データの不確実性を考慮することで、リアルタイムeスポーツ予測における一般化性能が向上し、過信が軽減されるか？
• RQ4 提案手法は、既存のプラットスケーリング手法と比較して、優れた補正性能を維持しながらも高い精度を達成できるか？

主な発見

• 提案手法は、期待補正誤差（ECE）が0.57%という最低水準に達し、温度スケーリング（1.11%）や他のプラットスケーリング手法を著しく上回った。
• データ不確実性損失を用いて学習したモデルは、73.81%の最高精度を達成し、マトリックススケーリング（73.05%）や未補正ベースライン（72.95%）を上回った。
• 最大補正誤差（MCE）は、提案手法で1.26%にまで低下し、比較対象の全手法の中で最高水準であった。
• 信頼性図の結果、提案手法は全信頼度ビンにおいて、予測信頼度と実際の正答率の乖離を最小限に抑えた。
• NLL値は0.515と、温度スケーリング（0.505）よりわずかに悪化したが、補正指標の改善がこの小さなトレードオフを上回った。
• 温度スケーリングとは異なり、入力固有の不確実性に基づいて動的に信頼度を調整することで、過信と不十分信頼の両方を効果的に緩和した。