[論文レビュー] MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer

Jeewon Jeon, Woojun Kim+2 more|arXiv (Cornell University)|Jun 20, 2022

Smart Grid Energy Management被引用数 9

ひとこと要約

MASERは、経験リプレイバッファから個々のQ値と総合Q値のバランスを取ることで、自己で部分目標を生成するマルチエージェント強化学習手法を提案する。これにより、スパarsely-rewarded環境でも効率的な学習が可能になる。Q関数に基づく内発的報酬を、行動可能な表現学習を用いて実装し、StarCraft IIのミクロマネジメントタスクにおいて最先端のMARLアルゴリズムを上回る性能を発揮する。

ABSTRACT

In this paper, we consider cooperative multi-agent reinforcement learning (MARL) with sparse reward. To tackle this problem, we propose a novel method named MASER: MARL with subgoals generated from experience replay buffer. Under the widely-used assumption of centralized training with decentralized execution and consistent Q-value decomposition for MARL, MASER automatically generates proper subgoals for multiple agents from the experience replay buffer by considering both individual Q-value and total Q-value. Then, MASER designs individual intrinsic reward for each agent based on actionable representation relevant to Q-learning so that the agents reach their subgoals while maximizing the joint action value. Numerical results show that MASER significantly outperforms StarCraft II micromanagement benchmark compared to other state-of-the-art MARL algorithms.

研究の動機と目的

• スパarsely-rewarded環境における協調的マルチエージェント強化学習のサンプル効率性と信用配分の課題に取り組む。
• タスク固有の部分目標設計の限界を克服し、経験に基づく自動的かつ部分目標の生成を可能にする。
• 個々のエージェントが部分目標へ向かうように導く内発的報酬を設計するとともに、一貫したQ値分解により共同ポリシー最適化を維持する。
• 密度の高い報酬形状やドメイン特化の部分目標設計に依存せずに、スパarsely-rewardedマルチエージェント環境における学習効率と最終的パフォーマンスを向上させる。

提案手法

• 経験リプレイバッファ内の軌道から部分状態を選択することで部分目標を生成し、個々のQ値と総合Q値の重み付き組み合わせに基づく。
• CTDE（集中学習・分散実行）パラダイム下で一貫したQ値分解を実現するためのミキシングネットワークを用いる。
• 行動可能な表現学習により学習されたQ関数に基づく行動的距離を用いて、各エージェントの内発的報酬を設計する。
• エピソード補正を損失関数に導入し、内発的報酬信号を実際の部分目標達成と一致させることで、学習の安定化を図る。
• 個々の貢献の安定的学習を保証するため、個々の報酬を別個の損失項として更新する。
• 二重目的最適化を適用：共同Q値を最大化するとともに、行動可能な表現から導かれる内発的報酬を介してエージェントが部分目標へ向かうように誘導する。

実験結果

リサーチクエスチョン

• RQ1 スパarsely-rewarded MARLにおいて、ドメイン特化の知識に依存せずに経験リプレイから部分目標を自動生成できるか？
• RQ2 部分目標選択において個々のQ値と総合Q値をバランスさせることで、学習効率性と最終的パフォーマンスにどのような影響を与えるか？
• RQ3 行動可能な表現に基づくQ関数ベースの内発的報酬は、マルチエージェントのスパarsely-rewarded設定において、どの程度サンプル効率性を向上させるか？
• RQ4 個々の損失とエピソード補正の各コンponentは、MASERにおける学習安定性とパフォーマンスにどのように寄与するか？
• RQ5 StarCraft IIのミクロマネジメントタスクのような挑戦的なスパarsely-rewarded環境において、MASERは既存の最先端MARLアルゴリズムを上回るか？

主な発見

• MASERは、2s3z、3m、8m、2m_vs_1zを含むStarCraft IIのミクロマネジメントタスクにおいて、最先端のMARLアルゴリズムを顕著に上回る性能を発揮した。
• 個々のQ値と総合Q値の両方を用いた部分目標選択（α=0.5）が最良のパフォーマンスを達成し、ランダム選択や片方のQ値タイプのみを用いる場合を上回った。
• アブレーションスタディの結果、個々の損失とエピソード補正の両コンponentが、安定的かつ効果的な学習に不可欠であることが確認された。
• Q関数に基づく行動的距離表現により、効果的な内発的報酬学習が可能となり、ベースラインが失敗する3m-cliffスパarsely-rewarded環境でもMASERが成功を収めた。
• 2s3zタスクにおける部分目標選択の可視化分析から、MASERは役割特化の行動を学習しており、スナイパーは遠距離から攻撃し、ゼアロットは近接戦闘で戦うというドメイン知識と整合的であることがわかった。
• 明示的な報酬形状付けや事前定義の部分目標なしに、効果的な信用配分と役割分担を実現し、多様なスパarsely-rewardedタスクに一般化できることを示した。