[論文レビュー] Celebrating Diversity in Shared Multi-Agent Reinforcement Learning

Chenghao Li, Tonghan Wang+4 more|arXiv (Cornell University)|Jun 4, 2021

Reinforcement Learning in Robotics参考文献 46被引用数 49

ひとこと要約

本論文は、情報理論に基づく内的報酬と L1 正則化を用いたエージェント固有モジュールを組み合わせた、共有型マルチエージェント強化学習における多様性を導入し、Google Research Football および StarCraft II のミクロマネジメント課題で最先端の性能を達成する。

ABSTRACT

Recently, deep multi-agent reinforcement learning (MARL) has shown the promise to solve complex cooperative tasks. Its success is partly because of parameter sharing among agents. However, such sharing may lead agents to behave similarly and limit their coordination capacity. In this paper, we aim to introduce diversity in both optimization and representation of shared multi-agent reinforcement learning. Specifically, we propose an information-theoretical regularization to maximize the mutual information between agents' identities and their trajectories, encouraging extensive exploration and diverse individualized behaviors. In representation, we incorporate agent-specific modules in the shared neural network architecture, which are regularized by L1-norm to promote learning sharing among agents while keeping necessary diversity. Empirical results show that our method achieves state-of-the-art performance on Google Research Football and super hard StarCraft II micromanagement tasks.

研究の動機と目的

• 素朴なパラメータ共有を超えた、完全に協調的な MARL において、多様でありながら調和のとれた行動を動機づけ、実現する。
• 挑戦的なタスクにおける探索と協調を改善するために、多様性と共有のバランスを取る。
• 軌跡を通じてエージェントの身份を区別する情報理論的目的を開発し、個性を促進する。
• L1 正則化の下で、共有知識と非共有コンポーネントを組み合わせるネットワーク構造を導入する。

提案手法

• エージェントの身份と軌跡間の相互情報量に基づくアイデンティティ認識型多様性目的を提案し、探査と差別化を促進する。
• 局所 Q 値上の Boltzmann Softmax を用いて行動多様性項を上界し、扱いやすい下界を最適化する。
• 観測多様性項を制約する変分後方分布 q_phi を導入し、内的報酬 r^I を提供する。
• 各エージェントのQ関数を共有部 Q^S と個別部 Q^I に分解し、Q^I に L1 正則化を適用して必要な共有を促進する。
• 環境報酬と内的多様性報酬を結合した TD 損失で訓練するため、QPLEX ベースのミキシングアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ共有の利点を損なうことなく、共有型 MARL に多様性を導入するにはどうすればよいか？
• RQ2 情報理論的目的が協調性能を維持しつつ、エージェント間の個性を促進できるか？
• RQ3 共有知識と個別の専門化を最も適切にバランスさせるネットワークアーキテクチャと正則化戦略は何か？
• RQ4 GRF や SMAC のような難易度の高い MARL ベンチマークで内発的多様性報酬は性能を向上させるか？

主な発見

• 提案手法は StarCraft II ミクロマネジメントの超難易度マップおよび academy_3_vs_1_with_keeper、academy_counterattack_hard、3_vs_1_with_keeper_(full_field) などの難しい Google Research Football のタスクで最先端の性能を達成します。
• アイデンティティ認識型多様性と、L1 正則化された非共有 Q 関数を持つ部分的共有ネットワークは、ベースラインで見られない高度な協調戦略を生み出す。
• アイデンティティと軌跡の間の相互情報、Q値上の SoftMax による行動多様性、および変分境界による観測多様性に基づく内的報酬が、多様な挙動を促進する。
• 多様性と共有の動的なバランスが生まれ、エージェントはオフボールの多様な動きとオンボールの協調動作を学び、難解なマップで協調性の改善を示す。
• アブレーション研究により構成要素を削除すると性能が劣化することが示され、アイデンティティ認識型多様性と L1 正則化の両方が必須であることを強調する。