[論文レビュー] MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization

Yongsheng Mei, Hanhan Zhou+3 more|arXiv (Cornell University)|Feb 21, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、共同方策の上でのレジスト最小化を用いて、ラグランジュ緩和とKKT条件を用いて閉形式の重みを導出することで、サンプリング重みを最適化する、MAC-POと呼ばれる新しいマルチエージェント経験リプレイ手法を提案する。この手法は、予期しない協調的行動を示す環境（Predator-Prey や StarCraft SMAC）において、学習の効率性と性能を著しく向上させ、最先端のベースラインと比較して収束速度と勝率で優れている。

ABSTRACT

Experience replay is crucial for off-policy reinforcement learning (RL) methods. By remembering and reusing the experiences from past different policies, experience replay significantly improves the training efficiency and stability of RL algorithms. Many decision-making problems in practice naturally involve multiple agents and require multi-agent reinforcement learning (MARL) under centralized training decentralized execution paradigm. Nevertheless, existing MARL algorithms often adopt standard experience replay where the transitions are uniformly sampled regardless of their importance. Finding prioritized sampling weights that are optimized for MARL experience replay has yet to be explored. To this end, we propose MAC-PO, which formulates optimal prioritized experience replay for multi-agent problems as a regret minimization over the sampling weights of transitions. Such optimization is relaxed and solved using the Lagrangian multiplier approach to obtain the close-form optimal sampling weights. By minimizing the resulting policy regret, we can narrow the gap between the current policy and a nominal optimal policy, thus acquiring an improved prioritization scheme for multi-agent tasks. Our experimental results on Predator-Prey and StarCraft Multi-Agent Challenge environments demonstrate the effectiveness of our method, having a better ability to replay important transitions and outperforming other state-of-the-art baselines.

研究の動機と目的

• 協調的マルチエージェント強化学習（MARL）における経験リプレイの優先度付けの欠如に起因する、標準的な均一サンプリングが複雑なエージェント間相互作用を反映しない問題に対処すること。
• サンプリング重みの上でのレジスト最小化問題として、最適な経験リプレイを定式化し、現在の方策と最適方策の間のギャップを最小化すること。
• ラグランジュ乗数とカールシュ＝クーン＝タッカー（KKT）条件を用いて、共同エージェント方策と環境のダイナミクスを考慮した閉形式のサンプリング重みを導出すること。
• 本手法を挑戦的なMARLベンチマークで評価し、既存のベースラインと比較して、より優れたサンプル効率と方策性能を示すこと。
• ベルマン誤差、価値強化、および共同行動確率の各主要構成要素が最適重み付けスキームに与える寄与度を検証すること。

提案手法

• MARLの経験リプレイを、サンプリング重みの上でのレジスト最小化問題として定式化し、名目上の最適方策と現在の方策の期待リターンの差として方策のレジストを定義する。
• レジストの上界を用いて最適化問題を緩和し、ラグランジュ乗数法を適用して必要十分条件を導出する。
• 複数エージェントにわたる同時最適化制約を考慮したKKT条件の連立方程式を解くことで、閉形式のサンプリング重みを導出する。
• ベルマン誤差、価値強化、および共同行動確率の3つの主要構成要素を重み付けスキームに統合し、マルチエージェントダイナミクスと価値推定の正確さを反映する。
• 重み付きベルマン方程式と陰関数定理を用いて、エージェントの方策と最適なサンプリング重みの間の依存関係をモデル化する。
• 大規模なMARL環境への実用的導入を想定し、正確版と近似版の両方のアルゴリズムを提案する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング重みの上でのレジスト最小化は、協調的マルチエージェント強化学習における経験リプレイの改善に寄与するか？
• RQ2 共同方策とマルチエージェント相互作用を考慮した上で、最適なサンプリング重みを閉形式で導出できるか？
• RQ3 ベルマン誤差、価値強化、および共同行動確率の各要素が、優先度付きリプレイスキームの性能に果たす相対的寄与度は何か？
• RQ4 提案手法は、標準的な経験リプレイおよび最先端のMARLアルゴリズムと比較して、より速い収束と高い性能を達成できるか？
• RQ5 本手法は、SMACの超難易度マップのような高協調性が求められる複雑な環境でもスケーリング可能か？

主な発見

• Predator-Prey環境において、MAC-POはすべてのベースラインと比較して収束が早く、特に同時に行動をとる必要がある高協調性設定で顕著な優位性を示した。
• SMACベンチマークでは、MAC-POは超難易度のMMM2マップで最高の勝率を記録し、QMIX、WQMIX、QPLEXを上回った。
• アブレーションスタディの結果、共同行動確率項を無効化すると最大18%の勝率低下が生じ、マルチエージェント協調の観点で極めて重要な役割を果たしていることが示された。
• ベルマン誤差と価値強化の項はそれぞれ15%および10%の性能低下を引き起こすことが判明し、価値推定と方策改善の観点で重要であることが裏付けられた。
• MAC-POの最適重み付けスキームにより、協調的マルチエージェント行動を伴う高インパクトの遷移がより効果的にリプレイされ、優れたサンプル効率が実現された。
• 本手法は、標準的なリプレイや既存のMARLベースラインが最適方策を学習できない複雑な環境でも、頑健に性能を発揮した。