[論文レビュー] Non-myopic learning in repeated stochastic games

Jacob W. Crandall|arXiv (Cornell University)|Sep 30, 2014

Advanced Bandit Algorithms Research参考文献 19被引用数 3

ひとこと要約

本稿では、2人対戦一般和反復確率ゲーム（RSG）の戦略空間を、エキスパート戦略の小さな集合へと縮小するメタゲーム技法である mega を提案する。これは、問題をマルチアームドバンディットに効果的に変換する。安全戦略やベストリスポンスといった重要なゲーム理論的性質を保持することで、S++ などの標準的なバンディットアルゴリズムを用いて、高速で頑健な学習が可能となり、3つの RSG において自己対戦および多様な相手に対して既存手法を上回る性能を発揮する。

ABSTRACT

In repeated stochastic games (RSGs), an agent must quickly adapt to the behavior of previously unknown associates, who may themselves be learning. This machine-learning problem is particularly challenging due, in part, to the presence of multiple (even infinite) equilibria and inherently large strategy spaces. In this paper, we introduce a method to reduce the strategy space of two-player general-sum RSGs to a handful of expert strategies. This process, called Mega, effectually reduces an RSG to a bandit problem. We show that the resulting strategy space preserves several important properties of the original RSG, thus enabling a learner to produce robust strategies within a reasonably small number of interactions. To better establish strengths and weaknesses of this approach, we empirically evaluate the resulting learning system against other algorithms in three different RSGs.

研究の動機と目的

• 未知の学習相手を相手にした2人対戦一般和反復確率ゲーム（RSG）において、頑健な戦略を学ぶ課題に取り組む。
• 一般和 RSG における伝統的なゲーム抽象化の限界を克服する。特に、複数の均衡と大きな戦略空間が、効果的な学習を妨げる要因となる。
• 安全戦略、ベストリスポンス、ナッシュ均衡といった重要なゲーム理論的性質を保持する戦略削減手法を開発する。
• RSG を扱いやすいバンディット問題に変換することで、現実的な時間スケールで高速かつ非短視な学習を可能にする。
• 異なる RSG 環境において、既存のアルゴリズムと比較して、得られた学習システムの頑健性と効率性を実証的に評価する。

提案手法

• 2人対戦一般和 RSG において、メタゲームによるゲーム抽象化を適用し、有限個のエキスパート戦略（Φi）の集合を特定することで、元の戦略空間を縮小する。
• エキスパート戦略の計算には、均衡計算（例：ナッシュ均衡）、マキシミン戦略、攻撃戦略を用い、頑健性を確保する。
• さまざまな重みパrameter（ω）に対して MDP を解くことでリーダー戦略を構築し、主要な戦略的行動をカバーする。
• 多項式時間の計算で Φi の戦略集合を維持する。各ラウンド後に罪悪感（guilt）などのメトリクスを段階的に更新する。
• 標準的なバンディットアルゴリズム（例：S++、Exp3、UCB）を縮小された戦略空間に適用し、迅速に効果的な方策を学習する。
• フォロワー戦略が事前に計算されたエキスパート計算を再利用できることを活用し、1ラウンドあたりのオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 エキスパート戦略から導出された縮小戦略空間が、一般和 RSG において安全戦略やベストリスポンスといった重要なゲーム理論的性質を保持できるか。
• RQ2 未知の相手を相手にした反復確率ゲームにおいて、mega 法が既存のアルゴリズムと比較して、どれほど高速かつ頑健な学習を可能にするか。
• RQ3 報酬、計算時間、収束速度の観点から、mega の性能はモデルベース強化学習（MBRL）および対戦的後悔最小化（CFR）と比べてどの程度か。
• RQ4 topパフォーマンスの相手や低パフォーマンスの相手を含む多様な相手行動に対しても、mega による戦略削減は効果を維持できるか。
• RQ5 複雑なダイナミクスと大きな状態空間を有する現実世界の RSG に対しても、メタゲーム手法は効率的にスケーリング可能か。

主な発見

• マイクログリッドシナリオでは、mega-S++ が平均自己対戦報酬 32.2 を達成し、初期化時間と実行時間の両面で CFR（17.6）と MBRL（0.1）を大きく上回った。
• マイクログリッドシナリオのTop-5相手に対して、mega-S++ は平均報酬 26.9 を獲得し、CFR（23.4）と MBRL（24.1）を上回った。
• ブロックゲームでは、mega-S++ が低パフォーマンス相手（Low-5）に対して平均報酬 28.0 を達成し、CFR（24.4）と MBRL（14.6）を上回った。
• マイクログリッドシナリオにおいて、mega-S++ の合計実行時間は 10.2 秒（実行時間 0.9 秒）で、CFR の 930.0 秒と MBRL の 91.4 秒を大きく下回った。
• mega-S++ の初期化時間は最適化されていないミニマックス計算に支配されており、コード最適化によりさらなる性能向上が期待できる。
• 本手法は安全戦略やベストリスポンスといった重要なゲーム理論的性質を維持しており、相手の戦略が動的に変化しても頑健な性能を発揮できる。