[論文レビュー] Robust Learning for Repeated Stochastic Games via Meta-Gaming

Jacob W. Crandall|arXiv (Cornell University)|Sep 30, 2014

Advanced Bandit Algorithms Research参考文献 30被引用数 2

ひとこと要約

本稿では、2人対戦一般和反復確率ゲーム（RSG）の戦略空間を、小さなエキスパート戦略の集合に縮小するメタゲーム手法MEGAを提案する。これにより、問題がバンドイットに類似した学習問題に変換され、未知の学習可能な相手に対しても最小限の相互作用で、きめ細やかで強固な適応が可能になる。この手法は、ゲーム理論的性質を保持しており、3つのRSG環境において検証された。

ABSTRACT

In repeated stochastic games (RSGs), an agent must quickly adapt to the behavior of previously unknown associates, who may themselves be learning. This machine-learning problem is particularly challenging due, in part, to the presence of multiple (even infinite) equilibria and inherently large strategy spaces. In this paper, we introduce a method to reduce the strategy space of two-player general-sum RSGs to a handful of expert strategies. This process, called MEGA, effectually reduces an RSG to a bandit problem. We show that the resulting strategy space preserves several important properties of the original RSG, thus enabling a learner to produce robust strategies within a reasonably small number of interactions. To better establish strengths and weaknesses of this approach, we empirically evaluate the resulting learning system against other algorithms in three different RSGs.

研究の動機と目的

• 未知の学習可能な相手に直面する反復確率ゲーム（RSG）における迅速な適応の課題に対処すること。
• 一般和RSGの本質的に巨大または無限の戦略空間を、管理可能なエキスパート戦略の集合に縮小すること。
• 戦略空間の縮小過程で重要なゲーム理論的性質を保持することによる強固な学習の実現。
• 相手との相互作用を最小限に抑えながら、速やかに強固な戦略に収束させること。
• 異なるRSG設定において、既存のアルゴリズムと比較して本手法の性能を実証的に評価すること。

提案手法

• MEGAは、元のRSG戦略空間から高パフォーマンスを示すエキスパート戦略の小さな集合を特定・抽出することで、メタゲーム表現を構築する。
• 本手法は、全RSGを、各戦略が代表的なエキスパートポリシーに対応する縮小戦略空間にマッピングする。
• 縮小されたゲームはバンドイット問題として扱われ、標準的な多腕バンディットアルゴリズムを用いて、効率的な探索と活用が可能になる。
• エキスパート戦略は自己対戦または事前学習によって得られ、ゲーム環境内での安定的かつ高品質な行動を表す。
• 本手法はナッシュ均衡構造や戦略的多様性といった重要な性質を維持しており、相手モデル化における強固さを保証する。
• 学習者は縮小戦略空間を用いて、相手の行動を素早く推定し、最適なカウンターストラテジーを選択する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートポリシーから導出された縮小戦略空間は、反復確率ゲームにおける高速かつ強固な学習を可能にするか？
• RQ2 MEGA手法は、戦略空間圧縮の過程で、本質的なゲーム理論的性質をどの程度保持しているか？
• RQ3 多様なRSGにおいて、MEGAの性能は、既存のアルゴリズムと比較して収束速度と強度の面で優れているか？
• RQ4 縮小空間上でバンドイットベースの学習が、未知の学習可能な相手への適応性を向上させるか？

主な発見

• MEGAは、2人対戦一般和RSGの戦略空間を、重要なゲーム理論的構造を損なわずに、小さな管理可能なエキスパート戦略の集合に成功して縮小した。
• 得られたバンドイットに類似した学習問題により、フル空間手法と比較して著しく少ない相互作用で、強固な戦略への収束が迅速に達成された。
• 実証的評価では、3つの異なるRSG環境において、MEGAが報酬と適応速度の両面でベースラインアルゴリズムを上回ることを示した。
• 本手法は戦略的多様性と均衡性質を維持しており、多様な相手行動に対して安定的かつ効果的な性能を発揮した。