[論文レビュー] Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning.

Ling Pan, Tabish Rashid+3 more|arXiv (Cornell University)|Mar 22, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 3

ひとこと要約

本稿では、値正則化とソフトマックスに基づく行動価値変換を組み合わせることで、マルチエージェントQ学習における過大評価を低減する新しい手法、正則化付きソフトマックス（SR）を提案する。QMIXその他のマルチエージェント強化学習（MARL）アルゴリズムに適用することで、SRは学習を安定化させ、協調的環境、特に挑戦的なStarCraft IIのミクロマネジメントタスクにおいて一貫した性能向上を達成する。

ABSTRACT

Overestimation in $Q$-learning is an important problem that has been extensively studied in single-agent reinforcement learning, but has received comparatively little attention in the multi-agent setting. In this work, we empirically demonstrate that QMIX, a popular $Q$-learning algorithm for cooperative multi-agent reinforcement learning (MARL), suffers from a particularly severe overestimation problem which is not mitigated by existing approaches. We rectify this by designing a novel regularization-based update scheme that penalizes large joint action-values deviating from a baseline and demonstrate its effectiveness in stabilizing learning. We additionally propose to employ a softmax operator, which we efficiently approximate in the multi-agent setting, to further reduce the potential overestimation bias. We demonstrate that our Softmax with Regularization (SR) method, when applied to QMIX, accomplishes its goal of avoiding severe overestimation and significantly improves performance in a variety of cooperative multi-agent tasks. To demonstrate the versatility of our method, we apply it to other $Q$-learning based MARL algorithms and achieve similar performance gains. Finally, we show that our method provides a consistent performance improvement on a set of challenging StarCraft II micromanagement tasks.

研究の動機と目的

• 既存の手法で緩和されていない、先駆的マルチエージェント強化学習アルゴリズムQMIXにおける深刻な過大評価問題に対処すること。
• 大規模な共同行動価値がベースラインから逸脱するのをペナルティ化する正則化に基づく更新スキームを構築し、学習を安定化させること。
• マルチエージェント設定における過大評価バイアスをさらに低減するために、ソフトマックス演算子を導入すること。
• 提案手法の有効性と汎用性を、複数の協調的MARL環境において実証すること。
• 挑戦的なStarCraft IIのミクロマネジメントタスクにおいて一貫したパフォーマンス向上を達成すること。

提案手法

• 共同行動価値が学習されたベースラインから逸脱するのをペナルティ化する正則化スキームを提案し、QMIXにおける過大評価を低減する。
• 大きな価値推定を抑制し、推定精度を向上させるために、行動価値のソフトマックスベースの変換を導入する。
• 計算上の実行可能性を保つために、マルチエージェント設定に特化したソフトマックス演算子の効率的近似を設計する。
• 正則化およびソフトマックス部をQMIXの学習パイプラインに統合し、正則化付きソフトマックス（SR）手法を構築する。
• QMIXにとどまらず、他のQ学習ベースのMARLアルゴリズムに対してもSRを適用し、汎用性を評価する。
• ベースライン価値関数を用いて正則化をガイドし、学習中の安定した価値推定を保証する。

実験結果

リサーチクエスチョン

• RQ1 QMIXは協調的マルチエージェント環境においてどの程度過大評価に苦しんでいるのか？
• RQ2 正則化に基づく更新スキームはマルチエージェントQ学習における過大評価を効果的に低減できるか？
• RQ3 ソフトマックス演算子の組み込みにより、MARLにおける過大評価バイアスはさらに緩和されるか？
• RQ4 提案された正則化付きソフトマックス手法は、多様な協調的MARLタスクにおいて学習の安定性とパフォーマンスをどのように向上させるか？
• RQ5 SRは他のQ学習ベースのMARLアルゴリズムにも一般化可能で、一貫したパフォーマンス向上をもたらすか？

主な発見

• QMIXは協調的マルチエージェントタスクにおいて特に深刻な過大評価問題を示しており、既存の手法では解決されていない。
• 提案された正則化付きソフトマックス（SR）手法は、QMIXにおける過大評価を効果的に低減し、学習を安定化させる。
• SRは多様な協調的マルチエージェント環境において顕著なパフォーマンス向上をもたらす。
• 本手法は良好に一般化され、他のQ学習ベースのMARLアルゴリズムに対しても同様のパフォーマンス向上を達成する。
• SRは挑戦的なStarCraft IIのミクロマネジメントタスクにおいて一貫した、測定可能な向上を達成し、その頑健性とスケーラビリティを示している。