[論文レビュー] Heterogeneous-Agent Reinforcement Learning

Yifan Zhong, Jakub Grudzien Kuba+4 more|arXiv (Cornell University)|Apr 19, 2023

Reinforcement Learning in Robotics被引用数 22

ひとこと要約

本論文は、同種エージェントの共有パラメータの限界を超え、異種エージェントを対象とした協調型マルチエージェンス強化学習（MARL）用の理論的根拠に基づく一連のアルゴリズム HARL を導入する。逐次更新スキームと、単一の HAML フレームワークを特徴とし、結合報酬の単調な改善とナッシュ均衡への収束を保証する。

ABSTRACT

The necessity for cooperation among intelligent machines has popularised cooperative multi-agent reinforcement learning (MARL) in AI research. However, many research endeavours heavily rely on parameter sharing among agents, which confines them to only homogeneous-agent setting and leads to training instability and lack of convergence guarantees. To achieve effective cooperation in the general heterogeneous-agent setting, we propose Heterogeneous-Agent Reinforcement Learning (HARL) algorithms that resolve the aforementioned issues. Central to our findings are the multi-agent advantage decomposition lemma and the sequential update scheme. Based on these, we develop the provably correct Heterogeneous-Agent Trust Region Learning (HATRL), and derive HATRPO and HAPPO by tractable approximations. Furthermore, we discover a novel framework named Heterogeneous-Agent Mirror Learning (HAML), which strengthens theoretical guarantees for HATRPO and HAPPO and provides a general template for cooperative MARL algorithmic designs. We prove that all algorithms derived from HAML inherently enjoy monotonic improvement of joint return and convergence to Nash Equilibrium. As its natural outcome, HAML validates more novel algorithms in addition to HATRPO and HAPPO, including HAA2C, HADDPG, and HATD3, which generally outperform their existing MA-counterparts. We comprehensively test HARL algorithms on six challenging benchmarks and demonstrate their superior effectiveness and stability for coordinating heterogeneous agents compared to strong baselines such as MAPPO and QMIX.

研究の動機と目的

• 異種エージェントのための MARL における同質的パラメータ共有の制約を解消する。
• エージェント間の逐次的で協調的な更新を可能にする理論的根拠のあるフレームワークを開発する。
• HATRL 手順と、それを実行可能な近似である HATRPO と HAPPO を導入する。
• 単調な改善と Nash Equilibria への収束を保証する異種エージェント向けの Heterogeneous-Agent Mirror Learning（HAML）フレームワークを提案する。
• 異種エージェントを持つベンチマークで HARL アルゴリズムの実験的性能向上を示す。

提案手法

• 共同ポリシー内のエージェントを逐次更新可能にするための多エージェント利点分解補題を導出する。
• 逐次更新スキームと単調な改善保証を持つ Heterogeneous-Agent Trust Region Learning（HATRL）を提案する。
• HATRL の実用的近似として実装容易なアルゴリズム HATRPO および HAPPO を開発する。
• 理論的保証を伴う一般的テンプレートとしての Heterogeneous-Agent Mirror Learning（HAML）を導入する。
• HARL に由来するアルゴリズム（HAA2C、HADDPG、HATD3 を含む）が結合報酬の単調な改善と NE への収束を享受することを示す。
• MPE、MAMuJoCo、SMAC/SMACv2、GRF、Bi-DexterousHands での広範なベンチマークとオープンソースの PyTorch 実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ共有に依存せず、真に異種エージェントを扱うには M A RL をどのように拡張できるか。
• RQ2 多エージェントの利点分解に導かれた逐次更新スキームは、協調的 MARL において単調な改善と Nash 均衡への収束を保証できるか。
• RQ3 異種エージェント設定のための HATRL および HAML を実装する実用的で効果的なアルゴリズムは何か。
• RQ4 HAML フレームワークは HATRPO/HAPPO を超えて一般化し、追加の堅牢な HARL アルゴリズムを生み出せるか。
• RQ5 HARL アルゴリズムは異種エージェントを持つベンチマークで既存の MA 対応手法を上回るか。

主な発見

• HARL アルゴリズムは、異種ベンチマークで MAPPO や QMIX のような強力なベースラインを一般的に上回る。
• 逐次更新スキームはトレーニングの不安定性を抑制し、同時更新と比較して収束保証を改善する。
• HAPPO および HATD3 が有力なパフォーマーとして浮上し、オフポリシー設定でのサンプル効率が向上することがある。
• HAML は協調 MARL アルゴリズムのより広いクラスに理論的保証を拡張する統一的テンプレートを提供する。
• エージェントの異種性が高まるほど HARL の結果は強化され、多様なタスク設定でのロバスト性を示す。