[論文レビュー] Multiagent Evaluation under Incomplete Information

Mark Rowland, Shayegan Omidshafiei+5 more|arXiv (Cornell University)|Sep 21, 2019

Sports Analytics and Performance被引用数 21

ひとこと要約

本稿では、ノイズが混在し、報酬データが不完全な一般和・多数プレイヤーのゲームにおけるマルチエージェントシステムのための、適応的で不確実性に配慮した評価手法を提案する。サンプル複雑性の保証、適応的サンプリングアルゴリズム、および $α$-Rank を用いた報酬から順位への不確実性の伝播を導入することで、現実的なシミュレーション制約下でも信頼性のあるエージェント順位付けを可能にする。

ABSTRACT

This paper investigates the evaluation of learned multiagent strategies in the incomplete information setting, which plays a critical role in ranking and training of agents. Traditionally, researchers have relied on Elo ratings for this purpose, with recent works also using methods based on Nash equilibria. Unfortunately, Elo is unable to handle intransitive agent interactions, and other techniques are restricted to zero-sum, two-player settings or are limited by the fact that the Nash equilibrium is intractable to compute. Recently, a ranking method called α-Rank, relying on a new graph-based game-theoretic solution concept, was shown to tractably apply to general games. However, evaluations based on Elo or α-Rank typically assume noise-free game outcomes, despite the data often being collected from noisy simulations, making this assumption unrealistic in practice. This paper investigates multiagent evaluation in the incomplete information regime, involving general-sum many-player games with noisy outcomes. We derive sample complexity guarantees required to confidently rank agents in this setting. We propose adaptive algorithms for accurate ranking, provide correctness and sample complexity guarantees, then introduce a means of connecting uncertainties in noisy match outcomes to uncertainties in rankings. We evaluate the performance of these approaches in several domains, including Bernoulli games, a soccer meta-game, and Kuhn poker.

研究の動機と目的

• 一般和・多数プレイヤーのゲームにおいて、ノイズが混在し、報酬データが不完全な状況下で、マルチエージェント戦略の体系的で原理的な評価手法の欠如に対処する。
• ノイズのないか、ゼロサムの設定を仮定する伝統的な手法（Elo やナッシュ平均化）の限界を克服する。
• 不完全な情報下での信頼性の高いエージェント順位付けを保証する理論的サンプル複雑性の保証を提供する。
• 順位の不確実性を低減するために、相互作用を効率的に割り当てる適応的サンプリングアルゴリズムを開発する。
• 観測された報酬の不確実性を、最終的なエージェント順位の不確実性へと接続し、頑健な意思決定を可能にする。

提案手法

• 一般和ゲームにおいても扱いやすく、非推移的相互作用にも対応できるため、$α$-Rank をコアな順位付けメカニズムとして採用する。
• 報酬の不確実性を伴うマルチアームドバンディット問題として評価問題を定式化し、信頼区間を用いて適応的サンプリングを誘導する。
• ゲームの対称性を活用して必要な相互作用数を削減する、適応的サンプリングアルゴリズム「ResponseGraphUCB」を導入する。
• 与えられた数の相互作用で高信頼度の順位付けを保証する理論的サンプル複雑性の上限を導出する。
• 確率的モデリングと部分順序の距離測度（Kendall の距離）を用いて、観測された報酬の不確実性を順位へと伝播する。
• 代替手法の比較として、報酬行列、ロジット行列、オッズ行列における行列補完技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 一般和・多数プレイヤーのゲームにおいて、ノイズが混在する報酬データをもとに、エージェントを信頼して順位付けするために必要な最小相互作用数は何か？
• RQ2 適応的サンプリング戦略は、不確実性下での信頼性の高い順位付けを達成するために、相互作用数をどの程度削減できるか？
• RQ3 観測された報酬の不確実性は、最終的なエージェント順位の不確実性へどの程度伝播できるか？
• RQ4 報酬、ロジット、オッズ行列における異なる行列補完技術は、スパースでノイズの混在するデータから順位を再構成する際に、どのように比較されるか？
• RQ5 ゲーム構造の対称性を活用することで、評価の効率性と正確性を向上させられるか？

主な発見

• 提案された適応的サンプリングアルゴリズム（ResponseGraphUCB）は、対称的な2人ゲームにおいてわずか20サンプルで正確な順位付けを達成し、非対称なベースラインを著しく上回った。
• サンプル複雑性の保証が得られ、ノイズのある条件下でも有限の相互作用数で高信頼度の順位付けが保証された。
• 報酬の不確実性が順位へと成功裏に伝播され、サッカーのメタゲーム（図1b）において、順位重みの信頼区間が明確に可視化された。
• サッカーのメタゲームにおいて、ロジット行列への行列補完が、テストされた手法（報酬、ロジット、オッズ）の中で最小の順位誤差（Kendall の距離）を達成した。
• 対称性を活用するバージョンの ResponseGraphUCB は、活用しないバージョンよりも高速に収束し、構造的仮定の利点を示した。
• 完全な戦略プロファイルカバレッジが可能な状況では、バンディットベースのアプローチが行列補完を上回ったが、スパースなデータに対しては行列補完がより適していた。