[論文レビュー] Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning

Jianzhun Shao, Hongchang Zhang+3 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics参考文献 43被引用数 5

ひとこと要約

本論文は、CTDEフレームワーク下でのマルチエージェント強化学習における報酬割り当てのためのグローバル階層を学習するメタラーニングベースのフレームワークMNMPGを提案する。『エクササイズ更新』から得られるエピソード報酬の差を活性化信号として用いることで、単調なミキシングネットワークにおける報酬分解を改善し、単純なユーティリティネットワークを用いて5つの超難易度のStarCraft IIミクロマネジメントマップのうち4つで最先端の性能を達成した。

ABSTRACT

Reward decomposition is a critical problem in centralized training with decentralized execution~(CTDE) paradigm for multi-agent reinforcement learning. To take full advantage of global information, which exploits the states from all agents and the related environment for decomposing Q values into individual credits, we propose a general meta-learning-based Mixing Network with Meta Policy Gradient~(MNMPG) framework to distill the global hierarchy for delicate reward decomposition. The excitation signal for learning global hierarchy is deduced from the episode reward difference between before and after "exercise updates" through the utility network. Our method is generally applicable to the CTDE method using a monotonic mixing network. Experiments on the StarCraft II micromanagement benchmark demonstrate that our method just with a simple utility network is able to outperform the current state-of-the-art MARL algorithms on 4 of 5 super hard scenarios. Better performance can be further achieved when combined with a role-based utility network.

研究の動機と目的

• マルチエージェント強化学習における集中学習・分散実行（CTDE）の枠組み下での正確な報酬分解の課題に対処すること。
• メタラーニングを用いて、より効果的なQ値の組み合わせを導くグローバル階層を学習することで、報酬割り当てを改善すること。
• 事前知識や複雑なアーキテクチャの変更を必要とせず、既存のCTDE手法を一般化して向上させること。
• 自己改善可能なグローバル階層学習を通じて、複雑な協調的マルチエージェントタスクにおけるより良い探索と安定性を実現すること。

提案手法

• 本手法は、ミキシングネットワークにおける報酬割り当てをガイドするグローバル階層を学習するため、メタポリシー勾配学習を採用する。
• 初期のユーティリティポリシーが生成する軌道に対して、一連のQ学習更新を適用する『エクササイズ更新』を導入する。
• メタラーニングの活性化信号は、エクササイズ更新の前後におけるエピソードリターンの差から得られる。
• 局所的Q値は、単純な2層のユーティリティネットワークを用いて生成され、単調なミキシングネットワークを介して混合される。このミキシングネットワークはIGM原則を満たす。
• グローバル階層は、エクササイズ更新による期待リターンの向上を最大化するように訓練され、外部の事前知識なしに自己改善が可能になる。
• QMIX、RODE、ROMA、MAVENなどの既存のCTDEアルゴリズムと互換性があり、それらの学習パイプラインに追加として統合可能である。

実験結果

リサーチクエスチョン

• RQ1 事前知識や複雑なアーキテクチャに依存せずに、メタラーニングベースのアプローチがマルチエージェント強化学習における報酬割り当てを改善できるか？
• RQ2 メタポリシー勾配を用いて学習されたグローバル階層は、単調なミキシングネットワークにおける報酬分解をどの程度向上できるか？
• RQ3 提案手法は、挑戦的な協調的マルチエージェントタスクにおいて、最先端のMARLアルゴリズムを上回る性能を示せるか？
• RQ4 本フレームワークは、さまざまなCTDEアーキテクチャに一般化可能であり、性能と安定性を維持できるか？
• RQ5 ロールベースのユーティリティネットワークの統合は、提案手法の性能と頑健性にどのような影響を与えるか？

主な発見

• 単純な2層のユーティリティネットワークを搭載したMNMPGフレームワークは、StarCraft IIミクロマネジメントベンチマークの超難易度マップ5つ中4つで、現在の最先端MARLアルゴリズムを上回った。
• SMACベンチマークにおいても優れた性能を示し、2m_vs_1z、3m、10m、2c3zなどのマップで最先端の結果を達成した。
• ロールベースのユーティリティネットワークを組み合わせることで、さらに高い性能と改善された訓練の安定性が得られた。
• アブレーションスタディにより、メタポリシー勾配戦略の有効性が確認され、報酬差分信号が意味のあるグローバル階層を学習するために不可欠であることが示された。
• 本フレームワークはQMIX、RODE、ROMAなど、さまざまなCTDE手法に一般に適用可能であり、アーキテクチャの大幅な見直しを伴わずにそれらの性能を向上させた。