[論文レビュー] Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL

Jakub Grudzien Kuba, Xidong Feng+4 more|arXiv (Cornell University)|Aug 2, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿では、協調的マルチエージェント強化学習（MARL）アルゴリズムを統一的かつ一般化する理論的枠組みであるHeterogeneous-Agent Mirror Learning（HAML）を提案する。この枠組みは、報酬の単調な向上とナッシュ均衡への収束を保証する。最先端のアルゴリズムであるHATRPOやHAPPOがHAMLの厳密なインスタンスであることが証明され、StarCraftIIおよびMulti-Agent MuJoCoベンチマークにおいて強力なベースラインを上回る性能を示すHAA2CおよびHADDPGという新たなHAMLベースのアルゴリズムが導入される。

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in the artificial intelligence (AI) research community. However, many research endeavors have been focused on developing practical MARL algorithms whose effectiveness has been studied only empirically, thereby lacking theoretical guarantees. As recent studies have revealed, MARL methods often achieve performance that is unstable in terms of reward monotonicity or suboptimal at convergence. To resolve these issues, in this paper, we introduce a novel framework named Heterogeneous-Agent Mirror Learning (HAML) that provides a general template for MARL algorithmic designs. We prove that algorithms derived from the HAML template satisfy the desired properties of the monotonic improvement of the joint reward and the convergence to Nash equilibrium. We verify the practicality of HAML by proving that the current state-of-the-art cooperative MARL algorithms, HATRPO and HAPPO, are in fact HAML instances. Next, as a natural outcome of our theory, we propose HAML extensions of two well-known RL algorithms, HAA2C (for A2C) and HADDPG (for DDPG), and demonstrate their effectiveness against strong baselines on StarCraftII and Multi-Agent MuJoCo tasks.

研究の動機と目的

• 協調的MARLにおける理論的保証の欠如に取り組む。現存のアルゴリズムはしばしば単調な向上性や収束性を欠くことがある。
• マルチエージェント環境において、報酬の単調な向上とナッシュ均衡への収束を保証する統一的理論的枠組みを構築すること。
• HATRPO や HAPPO といった現在の最先端MARLアルゴリズムが、この枠組みの厳密なインスタンスであることを示すこと。
• HAMLに基づく新たなMARLアルゴリズム（HAA2C および HADDPG）を導出し、理論的整合性を保ちつつ優れた実験的性能を達成すること。

提案手法

• HAMLは、報酬の変化を制御するためのドリフト関数（方策間の準距離）を用いたミラー学習フレームワークを導入し、アドバンテージの surrogate を形状付け、理論的保証を達成する。
• 個々のエージェントが順不同に更新可能であるように設計されており、独立した最適化と共同でのアドバンテージ推定を可能にすることで、異種エージェントをサポートする。
• HAMLは、マルチエージェント設定への信頼領域原理の一般化を実現し、適切に構築された目的関数により、単調な向上を維持する。
• HAA2Cは、A2Cをマルチエージェントに拡張したもので、ランダムに並び替えた順序でエージェントを逐次更新し、重要度サンプリングを用いた共同アドバンテージ推定を実装する。
• HADDPGは、DDPGをマルチエージェントに拡張したもので、オフポリシー学習中にクライアントの古い行動を新しい行動に置き換えることで、目的関数の同等性を維持する。
• このフレームワークはパラメータ共有や対称的方策を必要とせず、理論的収束保証のもとで異種方策学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 協調的MARLに、報酬の単調な向上とナッシュ均衡への収束を保証する統一的理論的枠組みを構築できるか？
• RQ2 HATRPO や HAPPO といった現在の最先端MARLアルゴリズムが、より一般的で理論的に正しい枠組みの正式なインスタンスであるか？
• RQ3 この枠組みから導出された新しいMARLアルゴリズムが、複雑なマルチエージェント環境で既存のベースラインを上回る性能を示せるか？
• RQ4 HAMLフレームワークは、パラメータ共有に依存せずに、異種マルチエージェント設定でも有効な学習を可能にするか？

主な発見

• HATRPO および HAPPO が、HAMLフレームワークの正式なインスタンスであることが示され、フレームワークの表現力と理論的基盤の強さが裏付けられた。
• StarCraft II Multi-Agent Challenge（SMAC）において、HAA2CはMAA2C-S（同種）およびMAA2C-NS（異種）の両方を上回る平均報酬と低い分散を達成した。
• Multi-Agent MuJoCoベンチマークでは、HAA2CはMAA2C-NSを著しく上回り、特に多様なエージェント方策を必要とするタスクで優位性を示した。
• Multi-Agent MuJoCoの複数の連続的制御タスクにおいて、HADDPGはMADDPGよりも高い報酬と低い分散を達成し、優れたサンプル効率と安定性を示した。
• 実験結果から、HAMLベースのアルゴリズムが理論的性質を実際の学習でも維持していることが確認され、強力なベースラインを一貫して上回る性能向上が得られた。
• フレームワークは、理論的整合性を損なわずに新たなMARLアルゴリズムの導出を可能にした。これにより、実用的かつ理論的有用性が実証された。