[論文レビュー] Regularized Softmax Deep Multi-Agent $Q$-Learning

Ling Pan, Tabish Rashid+3 more|arXiv (Cornell University)|Mar 22, 2021

Reinforcement Learning in Robotics参考文献 42被引用数 16

ひとこと要約

本論文では、ベースラインに基づく正則化スキームとソフトマックス演算子の効率的近似を組み合わせることで、マルチエージェントQ学習における過大評価を低減する一般化手法である正則化ソフトマックス（RES）ディープマルチエージェントQ学習を提案する。QMIXに適用することで、学習の安定化、無限大に発散する価値推定の防止、StarCraft IIのミクロマネジメントタスクおよびマルチエージェントパラメータ環境において最先端の性能を達成する。

ABSTRACT

Tackling overestimation in $Q$-learning is an important problem that has been extensively studied in single-agent reinforcement learning, but has received comparatively little attention in the multi-agent setting. In this work, we empirically demonstrate that QMIX, a popular $Q$-learning algorithm for cooperative multi-agent reinforcement learning (MARL), suffers from a more severe overestimation in practice than previously acknowledged, and is not mitigated by existing approaches. We rectify this with a novel regularization-based update scheme that penalizes large joint action-values that deviate from a baseline and demonstrate its effectiveness in stabilizing learning. Furthermore, we propose to employ a softmax operator, which we efficiently approximate in a novel way in the multi-agent setting, to further reduce the potential overestimation bias. Our approach, Regularized Softmax (RES) Deep Multi-Agent $Q$-Learning, is general and can be applied to any $Q$-learning based MARL algorithm. We demonstrate that, when applied to QMIX, RES avoids severe overestimation and significantly improves performance, yielding state-of-the-art results in a variety of cooperative multi-agent tasks, including the challenging StarCraft II micromanagement benchmarks.

研究の動機と目的

• 深層マルチエージェントQ学習における深刻な過大評価問題に取り組むこと、特に既存の研究で軽視されているQMIXにおける問題に焦点を当てる。
• 結合行動価値推定の無限大への増大を防ぐことで学習を安定化させ、性能の低下を回避すること。
• 二重推定器や既存の正則化手法が達成できる範囲を超えて、マルチエージェント設定における過大評価バイアスを低減すること。
• マルチエージェント強化学習（MARL）における大きな結合行動空間に対して、効率的でスケーラブルなソフトマックス演算子の近似を構築すること。
• QMIXに限らず、任意のQ学習ベースのMARLアルゴリズムに適用可能な汎用手法を開発すること。

提案手法

• 結合行動Q値がベースラインから逸脱するのをペナルティ化する正則化に基づく更新を導入し、学習の安定化のために割引報酬をベースラインとして使用する。
• 結合行動部分空間上で定義された、新たな効率的ソフトマックス近似を採用し、逆温度パラメータに応じて真のソフトマックスに指数的収束する。
• 正則化ペナルティとソフトマックス近似を統合した修正ベルマン損失を導出することで、過大評価バイアスを低減する。
• ソフトマックス近似における温度パラメータを用いて、探索と活用のトレードオフを制御する。
• QMIXへの適用において、標準的なQ学習更新をRES更新ルールに置き換え、単調な混合ネットワーク構造を維持する。
• 結合行動空間を全列挙せずに効率的にソフトマックス近似を計算するため、部分空間に基づくサンプリング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 QMIXは二重DQNおよびクリッピング二重Q学習を用いているにもかかわらず、実際にはなぜ深刻な過大評価を示すのか？
• RQ2 単一エージェント向けに開発された過大評価緩和技術（例：二重推定器、ソフトマックス）は、マルチエージェント設定に効果的に適応可能か？
• RQ3 エージェント数の増加に伴い指数関数的に増大する結合行動空間において、結合行動価値関数の過大評価をどのように安定化できるか？
• RQ4 ベースラインからの逸脱をペナルティ化する正則化スキームは、MARLにおける学習安定性と性能向上に寄与するか？
• RQ5 大規模なマルチエージェント行動空間においても精度を維持できる、効率的でスケーラブルなソフトマックス演算子の近似は存在するか？

主な発見

• RES-QMIXは、QMIXの価値推定が発散し性能が崩壊するマルチエージェントパラメータ環境において、無限大への価値成長を完全に排除した。
• テストされたすべてのStarCraft IIミクロマネジメントマップで、QMIX、QPLEX、および他のSOTAベースラインを上回る最先端の性能を達成した。
• 二重推定器を用いていなくても、RES-QMIX（単一）は、すべてのマップで標準QMIXおよび二重推定器を搭載したQMIXを上回り、正則化そのものの有効性を示した。
• RES-QMIXの価値推定値はQMIXと比べて著しく小さく、より安定しており、過大評価バイアスの低減が裏付けられた。
• 提案されたソフトマックス近似は、逆温度パラメータに応じて真のソフトマックスに指数的収束し、計算コストを低く抑えつつ高い精度を維持した。
• 本手法は一般化性に優れている：RESはQMIXに限らず、任意のQ学習ベースのMARLアルゴリズムに適用可能であり、多様な環境で性能向上を維持した。