[論文レビュー] A Game-Theoretic Approach to Multi-Agent Trust Region Optimization

Ying Wen, Hui Chen+5 more|arXiv (Cornell University)|Jun 12, 2021

Reinforcement Learning in Robotics参考文献 70被引用数 4

ひとこと要約

本稿では、非定常なマルチエージェント環境における方策最適化の安定化を図るためにメタゲーム解析を統合したゲーム理論的マルチエージェント信頼領域学習手法MATRLを提案する。現在のエージェントの行動と予測された行動に基づく実験的方策空間メタゲームにおけるナッシュ均衡解を活用することで、MATRLは単調な性能向上と局所的収束を保証し、MuJoCoやアーケードゲームを含む離散的および連続的制御タスクにおいて強力なベースラインを上回る性能を発揮する。

ABSTRACT

Trust region methods are widely applied in single-agent reinforcement learning problems due to their monotonic performance-improvement guarantee at every iteration. Nonetheless, when applied in multi-agent settings, the guarantee of trust region methods no longer holds because an agent's payoff is also affected by other agents' adaptive behaviors. To tackle this problem, we conduct a game-theoretical analysis in the policy space, and propose a multi-agent trust region learning method (MATRL), which enables trust region optimization for multi-agent learning. Specifically, MATRL finds a stable improvement direction that is guided by the solution concept of Nash equilibrium at the meta-game level. We derive the monotonic improvement guarantee in multi-agent settings and empirically show the local convergence of MATRL to stable fixed points in the two-player rotational differential game. To test our method, we evaluate MATRL in both discrete and continuous multiplayer general-sum games including checker and switch grid worlds, multi-agent MuJoCo, and Atari games. Results suggest that MATRL significantly outperforms strong multi-agent reinforcement learning baselines.

研究の動機と目的

• 他のエージェントの適応的行動に起因する非定常環境によって引き起こされる信頼領域の単調な性能向上の破綻を解消すること。
• 集中型クリティックや通信を必要とせずにマルチエージェント強化学習における性能保証を維持する信頼領域手法を開発すること。
• 方策空間におけるナッシュ均衡の概念を用いたメタゲーム解析により、安定した固定点への収束を可能にすること。
• 一般和マルチエージェント環境における学習の安定性とサンプル効率を向上させつつ、独立学習者の単純さを維持すること。
• PPOなどの既存の信頼領域アルゴリズムに追加コストが最小限である拡張を提供すること。

提案手法

• 独立学習者（ILs）の現在の行動と予測された行動を用いて、共同報酬ダイナミクスをモデル化する実験的方策空間メタゲームを構築する。
• CMAESなどのナッシュ均衡ソルバーを用いて、メタゲームにおける安定な方策更新を特定し、元のゲームにおける弱安定性を保証する。
• メタゲームにおけるナッシュ均衡を用いて現在の行動と予測された行動を統合し、制限付き信頼領域ステップを定義する。
• 統合された方策に基づくベストリスポンス更新を適用することで、方策の変化に対して強い安定性を向上させる。
• 元の方策ネットワークや価値ネットワークを変更せずに、標準的な信頼領域アルゴリズム（例：PPO）にメタゲーム解析を統合する。
• 元のPPO損失にKL正則化とエントロピー正則化を追加し、方策更新を精緻化するためのベストリスポンス学習ステップを導入する。

実験結果

リサーチクエスチョン

• RQ1 非定常環境下でも信頼領域最適化がマルチエージェント設定で単調な性能向上を維持できるか？
• RQ2 方策空間におけるメタゲームナッシュ均衡を組み込むことで、マルチエージェント強化学習における安定的かつ収束的学習が達成できるか？
• RQ3 独立学習者への最小限の追加コストの拡張が、集中型または通信ベースの手法と同等の性能を達成できるか？
• RQ4 提案手法は、VDN、QMIX、MADDPG、COMIXといった強力なベースラインと比較して、離散的および連続的制御環境で優れた性能を示すか？
• RQ5 メタゲームナッシュ均衡は、元のマルチエージェントゲームの弱安定固定点であるか？

主な発見

• 2人用スイッチやチェッカーゲームを含む離散的グリッドワールド環境において、MATRLは独立PPO、VDN、QMIX、QDPPに対して顕著な性能向上を達成した。
• マルチエージェントMuJoCoを用いた連続的制御タスクにおいて、MATRLは分散型PPO、MADDPG、COMIXを上回り、優れたサンプル効率と安定性を示した。
• ゼロサムアーケードゲームでは、MATRLはベースラインPPOおよびCOMIXのような集中型手法を上回り、一貫性のある学習曲線とともに高い最終的報酬を達成した。
• 訓練イテレーション全体にわたり期待報酬の単調な向上が確保されたことから、メタゲーム解析に基づく理論的保証が妥当であることが裏付けられた。
• 微分ゲームダイナミクスにおいて、局所的収束が実証的に観察されたことから、弱安定性に関する理論的分析が支持された。
• CMAESを用いたメタゲームにおけるナッシュ均衡の解法により、集中型インfraなしで効果的かつスケーラブルな信頼領域更新が可能となった。