[論文レビュー] Automated Planning in Repeated Adversarial Games

Enrique Muñoz de Cote, Archie C. Chapman+2 more|arXiv (Cornell University)|Mar 15, 2012

Artificial Intelligence in Games参考文献 10被引用数 11

ひとこと要約

この論文では、異種の相手を特定し黙示的かつ協力的に行動することで、繰り返しの敵対的ゲームにおいて自律的計画と協力を可能にするモデルベース強化学習アルゴリズムであるTeamUPを紹介する。探索を敵対的最適化問題として扱い、報酬形状を適用することで、TeamUPはナッシュ均衡戦略を常に上回り、レモネイドスタンドゲーム大会でも元々の優勝戦略を上回る最高の成績を収めた。

ABSTRACT

Game theory's prescriptive power typically relies on full rationality and/or self-play interactions. In contrast, this work sets aside these fundamental premises and focuses instead on heterogeneous autonomous interactions between two or more agents. Specifically, we introduce a new and concise representation for repeated adversarial (constant-sum) games that highlight the necessary features that enable an automated planing agent to reason about how to score above the game's Nash equilibrium, when facing heterogeneous adversaries. To this end, we present TeamUP, a model-based RL algorithm designed for learning and planning such an abstraction. In essence, it is somewhat similar to R-max with a cleverly engineered reward shaping that treats exploration as an adversarial optimization problem. In practice, it attempts to find an ally with which to tacitly collude (in more than two-player games) and then collaborates on a joint plan of actions that can consistently score a high utility in adversarial repeated games. We use the inaugural Lemonade Stand Game Tournament to demonstrate the effectiveness of our approach, and find that TeamUP is the best performing agent, demoting the Tournament's actual winning strategy into second place. In our experimental analysis, we show hat our strategy successfully and consistently builds collaborations with many different heterogeneous (and sometimes very sophisticated) adversaries.

研究の動機と目的

• 完全な合理性や自己対戦を仮定する伝統的なゲーム理論的モデルの限界を克服するため、異種エージェント間の相互作用に焦点を当てる。
• ナッシュ均衡を上回るスコアを達成できる要因を捉えた、繰り返し定和ゲームのコンact表現を構築する。
• 多エージェント敵対的環境において、多様な敵対的相手と黙示的協力を形成できる計画アルゴリズムを設計する。
• 実世界の競争環境における実証的評価を通じて、このアプローチの有効性を示す。
• 相互協力や明示的通信を必要としない自動計画が、繰り返しの敵対的ゲームで一貫した高い効用を達成できることを示す。

提案手法

• 著者らは、繰り返しの敵対的ゲームにおける計画に不可欠な特徴に焦点を当てた、新しいゲーム表現を導入する。戦略的相互作用パターンに注目する。
• TeamUPは、R-maxにインspiredされたモデルベース強化学習フレームワークを採用し、探索を敵対的最適化問題として扱うためのカスタム報酬形状機構を備える。
• 長期的な報酬トレードオフと戦略的傾向を分析することで、異種の敵対的相手の中から潜在的な協力相手を同定する。
• 黙示的連携を仮定したもとで期待効用を最大化するように、シミュレートされた計画を通じて共同行動計画を構築する。
• 将来の報酬を推定し、相手の行動予測に基づいて行動選択をガイドするための価値関数近似を用いる。
• 探索は最悪ケース性能を最適化することで戦略的に誘導され、予測不可能または敵対的な相手に対しても耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは繰り返しの敵対的ゲームにおいて、異種の敵対的相手を自律的に同定し、黙示的協力を形成できるか？
• RQ2 明示的通信や相互協力なしに、自動計画をどのように用いてナッシュ均衡報酬を超えることができるか？
• RQ3 報酬形状と敵対的探索は、繰り返し定和ゲームにおけるパフォーマンスをどの程度向上させられるか？
• RQ4 モデルベース強化学習エージェントは、自己対戦や完全合理的な仮定に基づいて設計された戦略を、実世界の大会環境で上回れるか？
• RQ5 このような計画エージェントは、複数のゲームイテレーションにわたり、多様な相手の行動にどの程度一貫して適応し、活用できるか？

主な発見

• TeamUPは初回のレモネイドスタンドゲーム大会で最高の成績を収め、元々の優勝戦略を上回った。
• アルゴリズムは、洗練された相手を含む幅広い異種の敵対的相手と、一貫的かつ効果的な協力を確立した。
• 複数のゲームイテレーションと相手タイプにわたり、TeamUPはナッシュ均衡報酬を常に上回った。
• 報酬形状機構により、探索を敵対的最適化問題としてフレーミングすることで、耐性と収束性が向上した。
• モデルベース計画アプローチにより、TeamUPは相手の行動を予測し、明示的通信なしに共同行動を調整できた。
• 実証的結果から、黙示的連携を伴う自動計画が、繰り返しの敵対的環境における標準的なゲーム理論ベースラインを著しく上回ることを示した。