[論文レビュー] Empirical Policy Optimization for $n$-Player Markov Games

Yuanheng Zhu, Dongbin Zhao+2 more|arXiv (Cornell University)|Oct 18, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、n人プレイヤーのマルコフゲームに対して、近似ナッシュ均衡に確実に収束する分散型で履歴蓄積型のポリシー最適化フレームワークを提案する。即時の報酬ではなく、蓄積された歴史的パフォーマンスに基づいてポリシーを進化させることで、非定常なマルチエージェント環境における安定性と収束性を確保し、小スケールゲームおよび深層強化学習を用いた大スケールPong環境での実証的検証が行われた。

ABSTRACT

In single-agent Markov decision processes, an agent can optimize its policy based on the interaction with environment. In multi-player Markov games (MGs), however, the interaction is non-stationary due to the behaviors of other players, so the agent has no fixed optimization objective. In this paper, we treat the evolution of player policies as a dynamical process and propose a novel learning scheme for Nash equilibrium. The core is to evolve one's policy according to not just its current in-game performance, but an aggregation of its performance over history. We show that for a variety of MGs, players in our learning scheme will provably converge to a point that is an approximation to Nash equilibrium. Combined with neural networks, we develop the \emph{empirical policy optimization} algorithm, that is implemented in a reinforcement-learning framework and runs in a distributed way, with each player optimizing its policy based on own observations. We use two numerical examples to validate the convergence property on small-scale MGs with $n\ge 2$ players, and a pong example to show the potential of our algorithm on large games.

研究の動機と目的

• 他のエージェントのポリシーが進化することで、各エージェントの最適化目的が変化するという非定常性の課題に対処すること。
• 他のプレイヤーの戦略やプレイヤー数を事前に知らなくても、ナッシュ均衡への収束を可能にする学習スキームを開発すること。
• 大スケールゲームに適した、スケーラブルで分散型の強化学習フレームワークを設計し、深層ニューラルネットワークと互換性を持たせること。
• リャプノフ安定性および固定点理論を用いて、提案された連続時間学習ダイナミクスがナッシュ分布に収束することを理論的に証明すること。

提案手法

• 各プレイヤーが現在の報酬だけでなく、蓄積された歴史的パフォーマンスに基づいてポリシーを更新する連続時間学習ダイナミクス（CTLD）を定式化する。
• リャプノフ安定性および固定点定理を適用し、さまざまなn人プレイヤーのマルコフゲームにおいてCTLDがナッシュ分布に収束することを証明する。
• ポリシーをニューラルネットワークで表現し、全履歴経験に基づいて強化学習でパラメータを訓練する、経験的ポリシー最適化（EPO）アルゴリズムを開発する。
• 各プレイヤーが他のプレイヤーの戦略を知らなくても、自らの観測のみに基づいて行動する分散型実装を採用し、協調や戦略の事前知識を不要にする。
• 履歴経験を保存・利用するリプレイバッファを採用し、過去に有効だった戦略を忘れずに保てるようにする。
• ポリシー集団の可視化と収束パターン・ポリシー進化の分析のため、2次元可視化にシュール分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 非定常環境下でも、n人プレイヤーのマルコフゲームにおけるポリシー最適化スキームがナッシュ均衡に収束できるか？
• RQ2 歴史的パフォーマンスを蓄積することで、オンポリシー法やセルフプレイ法と比較して収束性がどのように向上するか？
• RQ3 一般のn人プレイヤーのゲームにおいて、提案された連続時間学習ダイナミクスの収束に対する理論的保証は何か？
• RQ4 EPOアルゴリズムは、PPO、NFSP、PSROといった既存のベースラインと比較して、小スケールおよび大スケールゲームの両方でどのように性能を発揮するか？
• RQ5 完全な履歴経験を保持することで、ポリシーの忘却がどれほど抑制され、均衡への収束が向上するか？

主な発見

• 提案された連続時間学習ダイナミクス（CTLD）は、リャプノフ安定性および固定点解析により、さまざまなn人プレイヤーのマルコフゲームにおいてナッシュ分布に確実に収束することが示された。
• 経験的ポリシー最適化（EPO）は、PPO、セルフプレイ、NFSP、PSROを上回る収束速度と均衡品質を達成し、初期学習段階においても相対性能曲線がベースラインを下回る唯一の手法であった。
• 完全な履歴リプレイを用いたEPOは、単調または推移的なポリシー改善を示したが、限られたリプレイでは循環的行動やポリシーの忘却が生じ、シュール分解による可視化で明確に確認された。
• Wimblepong環境では、ε = 0.1のEPOがベースラインを上回る優れた性能を示し、大スケールゲームにおけるスケーラビリティと有効性を実証した。
• アブレーションスタディにより、完全な履歴経験が安定した収束に不可欠であることが確認され、限られたリプレイでは不安定性と非最適なポリシー進化が生じた。
• EPOの分散型アーキテクチャは、他のプレイヤーの戦略を知らなくても、ローカルな観測のみで動作するため、協調が制限される現実世界の応用において実用的である。