[論文レビュー] A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning

Dong Ki Kim, Miao Liu+7 more|arXiv (Cornell University)|Oct 31, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 12

ひとこと要約

この論文は、環境内のすべてのエージェントの非定常的学習ダイナミクスを明示的にモデル化する、マルチエージェント強化学習のための新しいポリシー勾配アルゴリズム、Meta-MAPGを紹介する。相互のポリシー更新を考慮するようにメタ最適化を拡張することで、協力的・競争的・混合インcentive環境において、新しいまたは学習中の相手に対し、より高速かつ安定した適応が可能となり、サンプル効率性と一般化性能において先行手法を上回る。

ABSTRACT

A fundamental challenge in multiagent reinforcement learning is to learn beneficial behaviors in a shared environment with other simultaneously learning agents. In particular, each agent perceives the environment as effectively non-stationary due to the changing policies of other agents. Moreover, each agent is itself constantly learning, leading to natural non-stationarity in the distribution of experiences encountered. In this paper, we propose a novel meta-multiagent policy gradient theorem that directly accounts for the non-stationary policy dynamics inherent to multiagent learning settings. This is achieved by modeling our gradient updates to consider both an agent's own non-stationary policy dynamics and the non-stationary policy dynamics of other agents in the environment. We show that our theoretically grounded approach provides a general solution to the multiagent learning problem, which inherently comprises all key aspects of previous state of the art approaches on this topic. We test our method on a diverse suite of multiagent benchmarks and demonstrate a more efficient ability to adapt to new agents as they learn than baseline methods across the full spectrum of mixed incentive, competitive, and cooperative domains.

研究の動機と目的

• 相互学習による動的変化するポリシーに起因する非定常性の根本的課題に取り組むこと。
• メタ最適化中に他のエージェントの学習プロセスを明示的にモデル化するメタラーニングフレームワークを構築すること。
• Meta-PG や LOLA といった先行手法を統一的かつ理論的に裏付けられる1つの整合的勾配更新ルールに統合し、相互影響を組み込むこと。
• エージェントが自身の学習を継続的に行う新たなエージェントに対しても、迅速に適応できるようにすることで、マルチエージェント設定におけるサンプル効率性と一般化性能を向上させること。

提案手法

• エージェント自身のポリシー動的と、他のエージェントの非定常的ポリシー動的を同時に最適化する新しいメタマルチエージェントポリシー勾配定理（Meta-MAPG）を導出する。
• すべてのエージェントを相互に依存するポリシー更新を持つマルコフ的学習者としてモデル化することで、Meta-PG フレームワークをマルチエージェント設定に拡張する。
• Foerster ら（2018a）のインスピレーションを受けて、エージェントの行動が他のエージェントの学習軌跡に与える影響を補正項としてメタ勾配に組み込む。
• 2段階の最適化を採用：内側ループでは経験に基づくポリシー更新、外側ループでは他のエージェントの将来のポリシーに与える影響を考慮したメタ勾配更新。
• 経路ベースのアクタ・クリティックアーキテクチャを採用し、一般化された利得推定（GAE）とポリシー更新のチェーンにおける経験リプレイを適用する。
• 協力的・競争的・混合インセンティブ環境を含む、多様なベンチマーク（反復的囚人のジレンマ、グー・チョキ・パー、多エージェントMuJoCo環境）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントRLにおけるメタラーニングフレームワークは、メタ最適化中に他のエージェントの非定常的学習ダイナミクスを効果的にモデル化できるか？
• RQ2 他のエージェントを静的要因として扱うのではなく、相互ポリシー影響を明示的にモデル化することで、適応速度と安定性がどのように向上するか？
• RQ3 Meta-MAPGは、Meta-PG や LOLA-DiCE といった先行手法を統合的または上回る形で、多様なマルチエージェント環境を扱えるか？
• RQ4 メタ勾配に相互影響を組み込むことで、異なる熟練度の新規エージェントに対して一般化性能が向上するか？
• RQ5 Meta-MAPGは、協力的・競争的・混合インセンティブのマルチエージェントタスクの全範囲でどのように性能を発揮するか？

主な発見

• Meta-MAPGは、IPD、RPS、2D HalfCheetahを含むすべてのテスト環境で、Meta-PG、LOLA-DiCE、REINFORCEと比較して優れた適応性能を達成した。
• 2D HalfCheetah環境では、メタトレーニング中に観測されなかった475および500イテレーションで訓練されたチームメイトに対しても、より速い収束と優れた一般化性能を示した。
• 相手エージェントの独立学習仮定が成り立たない場合にMeta-PGで観察された発散問題を、メタ勾配に相互影響を組み込むことで効果的に緩和した。
• 実験的結果から、Meta-MAPGは、他のエージェントが積極的に学習している間でも安定したポリシー動的を維持しており、IPDおよびRPSにおける一貫した行動確率軌跡によって裏付けられた。
• 本手法は、未観測の相手の熟練度レベルに対しても効果的に一般化でき、相手ポリシーの分布シフトに対して頑健であることが示された。
• Meta-MAPGは、すべてのベースラインを上回るサンプル効率性を示し、特に複雑で非定常な環境において、新しいエージェントに適応するための相互作用回数を削減した。