[論文レビュー] Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games

Macheng Shen, Jonathan P. How|arXiv (Cornell University)|Sep 18, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 9

ひとこと要約

本稿では、主人公が自己対戦を通じて相手の非公開タイプを推定しなければならない非対称な不完全情報ゲームにおいて、頑健な相手モデル化を実現するための敵対的アンサンブル強化学習フレームワークを提案する。同じ計算予算のもとで、標準的なアンサンブル学習に比べて、未知の相手タイプに対する著しい頑健性の向上を達成する。

ABSTRACT

This paper presents an algorithmic framework for learning robust policies in asymmetric imperfect-information games, where the joint reward could depend on the uncertain opponent type (a private information known only to the opponent itself and its ally). In order to maximize the reward, the protagonist agent has to infer the opponent type through agent modeling. We use multiagent reinforcement learning (MARL) to learn opponent models through self-play, which captures the full strategy interaction and reasoning between agents. However, agent policies learned from self-play can suffer from mutual overfitting. Ensemble training methods can be used to improve the robustness of agent policy against different opponents, but it also significantly increases the computational overhead. In order to achieve a good trade-off between the robustness of the learned policy and the computation complexity, we propose to train a separate opponent policy against the protagonist agent for evaluation purposes. The reward achieved by this opponent is a noisy measure of the robustness of the protagonist agent policy due to the intrinsic stochastic nature of a reinforcement learner. To handle this stochasticity, we apply a stochastic optimization scheme to dynamically update the opponent ensemble to optimize an objective function that strikes a balance between robustness and computation complexity. We empirically show that, under the same limited computational budget, the proposed method results in more robust policy learning than standard ensemble training.

研究の動機と目的

• 主人公が相手の非公開タイプを把握しない状況における意思決定の課題に対処すること。
• 事前の知識なしに多様な相手タイプに一般化可能な頑健なポリシー学習フレームワークを開発すること。
• マルチエージェント強化学習におけるアンサンブル学習の頑健性を、アンサンブル集団上でのメタ最適化戦略の導入により向上させること。
• 戦略的相互作用と推論を捉える自己対戦を通じて、効果的な相手モデル化を可能にすること。
• 一般和ゲームにおけるポリシー・アンサンブル設計において、頑健性と計算効率のバランスをとること。

提案手法

• 自己対戦を用いたマルチエージェント強化学習により、主人公と相手のポリシーを同時に訓練し、動的戦略相互作用を捉える。
• 複数の主人公ポリシーを維持するアンサンブル学習を適用し、多様な相手行動に対する頑健性を向上させる。
• 標準的なアンサンブル平均に依存するのではなく、アンサンブル集団上でのメタ最適化目的関数を導入し、一般化性能を向上させる。
• 信念伝搬と観測モデル化を用いて、結合観測と行動から相手タイプを推定する。因子化ポリシー仮定を用いる。
• 物理状態遷移モデルと結合ポリシー下での期待観測尤度を組み合わせた再帰的信念更新ルールを導出する。
• 予測された観測と実際の観測の差を補正するため、期待観測確率 $\mathbb{E}_{\bm{a}^{t}\sim\bm{\pi}(\bar{\bm{o}}|\bm{h})}[\mathcal{P}^{O}(o^{t}_{i}|\bm{a}^{t},s^{t})]$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 主人公エージェントは、相手タイプが非公開で未知の非対称な不完全情報ゲームにおいて、どのように頑健なポリシーを学習できるか？
• RQ2 メタ最適化を用いることで、マルチエージェント強化学習におけるアンサンブル学習の性能を、未知の相手タイプに対する頑健性向上に改善できるか？
• RQ3 メタ最適化を組み込んだ敵対的アンサンブル学習が、非対称ゲームにおけるポリシー一般化性能に与える影響は何か？
• RQ4 標準的なアンサンブル学習と比較して、提案手法は頑健性と計算効率の両面でどのように差をつけるか？
• RQ5 自己対戦と信念ベース推論を組み合わせることで、一般和で非対称なゲームにおける相手モデル化は、どの程度向上できるか？

主な発見

• アンサンブル集団上での提案されたメタ最適化は、標準的なアンサンブル学習に比べて、未知の相手タイプに対する頑健性を顕著に向上させる。
• 同じ計算予算のもとで、提案手法は非対称な不完全情報ゲームにおいて、優れた頑健性を示す一般化性能を達成する。
• 期待観測に基づく信念更新とポリシーモデリングにより、結合観測と行動から相手タイプの正確な推定が可能になる。
• 再帰的信念更新ルールは、物理状態分布を効果的に伝搬するとともに、観測尤度を用いてタイプ信念を補正する。
• 因子化ポリシー仮定 $\pi_{j}(o^{t}_{j}|h_{j})$ により、再帰的または信念ベースのポリシーを必要とせずに、扱いやすい結合ポリシーのモデリングが可能になる。
• 実験結果から、敵対的アンサンブル手法は、多様な相手ポリシー・プロファイルにおいて、ベースラインのアンサンブル手法を上回る頑健性を示している。