[論文レビュー] Learning Implicit Credit Assignment for Multi-Agent Actor-Critic.

Meng Zhou, Ziyu Liu+3 more|arXiv (Cornell University)|Jul 6, 2020

Reinforcement Learning in Robotics参考文献 14被引用数 14

ひとこと要約

本論文では、ハイパーネットワークに基づく集中型クライアントを用いて連携方策勾配を埋め込むことで、明示的な報酬分解を用いずに報酬割り当て問題を暗黙的に行うLICAという、マルチエージェント強化学習アルゴリズムを提案する。同時に、適応的エントロピー正則化を用いて探索を維持する。LICAはマルチエージェント粒子環境およびスターフィック2のミクロマネジメントタスクにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

We present a new policy-based multi-agent reinforcement learning algorithm that implicitly addresses the credit assignment problem under fully cooperative settings. Our key motivation is that credit assignment may not require an explicit formulation as long as (1) the policy gradients of a trained, centralized critic carry sufficient information for the decentralized agents to maximize the critic estimate through optimal cooperation and (2) a sustained level of agent exploration is enforced throughout training. In this work, we achieve the former by formulating the centralized critic as a hypernetwork such that the latent state representation is now fused into the policy gradients through its multiplicative association with the agent policies, and we show that this is key to learning optimal joint actions that may otherwise require explicit credit assignment. To achieve the latter, we further propose a practical technique called adaptive entropy regularization where magnitudes of the policy gradients from the entropy term are dynamically rescaled to sustain consistent levels of exploration throughout training. Our final algorithm, which we call LICA, is evaluated on several benchmarks including the multi-agent particle environments and a set of challenging StarCraft II micromanagement tasks, and we show that LICA significantly outperforms previous methods.

研究の動機と目的

• 協調的マルチエージェント強化学習における報酬割り当て問題を、明示的な報酬分解を用いずに解決すること。
• 集中型クライアントから導出される方策勾配を用いて、非集中型エージェントが最適な連携行動を学習できるようにすること。
• 動的エントロピー正則化技術を用いて、学習全体を通して一貫した探索レベルを維持すること。
• スターフィック2のミクロマネジメントタスクを含む、挑戦的なマルチエージェントベンチマークでの性能向上を図ること。

提案手法

• 集中型クライアントを、潜在状態表現に注目するハイパーネットワークとして定式化し、方策勾配を生成する。
• 潜在状態表現を乗算的に組み込み、共有された価値推定を通じて暗黙的報酬割り当てを実現する。
• エントロピー項の大きさを動的にスケーリングすることで、探索を維持する適応的エントロピー正則化を導入する。
• クライアントの価値推定とエントロピー正則化に情報を受けた方策勾配を用いて、方策ネットワークを学習する。
• 集中型クライアントを用いて全エージェントの価値ターゲットを提供し、明示的な報酬割り当てを用いずに連携行動最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在状態情報が方策勾配に埋め込まれたハイパーネットワークベースのクライアントによって、暗黙的報酬割り当てを達成できるか？
• RQ2 適応的エントロピー正則化によって一貫した探索レベルを維持することで、マルチエージェント環境における学習の安定性と性能が向上するか？
• RQ3 明示的な報酬割り当てを用いずに、方策ベースのマルチエージェントアルゴリズムが、複雑な協調的タスクで既存手法を上回ることができるか？
• RQ4 提案手法はスターフィック2のミクロマネジメントタスクのような挑戦的な環境にどのようにスケーリングできるか？

主な発見

• LICAはマルチエージェント粒子環境ベンチマークにおいて、先行手法を顕著に上回る性能を発揮した。
• アルゴリズムは挑戦的なスターフィック2のミクロマネジメントタスクでも優れた性能を発揮し、複雑な協調的設定におけるロバスト性を示した。
• 適応的エントロピー正則化は、学習全体を通して一貫した探索レベルを維持し、方策学習の安定性を向上させた。
• ハイパーネットワークベースのクライアントは暗黙的報酬割り当てを可能にし、明示的な報酬分解を用いずにエージェントが最適な連携行動を学習できるようにした。