[論文レビュー] Policy Regularization via Noisy Advantage Values for Cooperative Multi-agent Actor-Critic methods

Jian Hu, Siyue Hu+1 more|arXiv (Cornell University)|Jun 27, 2021

Optimization and Search Problems被引用数 8

ひとこと要約

本論文は、協調的マルチエージェント強化学習における方策過学習を是正するため、価値関数およびアドバンテージ関数にそれぞれガウスノイズを注入する手法であるNoisy-Value MAPPO（NV-MAPPO）およびNoisy-Advantage MAPPO（NA-MAPPO）を提案する。この手法は、SMACでエージェント固有の特徴量を用いない状態で最先端の性能を達成し、ハードなシナリオにおいて最大97%の勝率を記録した。

ABSTRACT

Recent works have applied the Proximal Policy Optimization (PPO) to the multi-agent cooperative tasks, such as Independent PPO (IPPO); and vanilla Multi-agent PPO (MAPPO) which has a centralized value function. However, previous literature shows that MAPPO may not perform as well as Independent PPO (IPPO) and the Fine-tuned QMIX on Starcraft Multi-Agent Challenge (SMAC). MAPPO-Feature-Pruned (MAPPO-FP) improves the performance of MAPPO by the carefully designed agent-specific features, which may be not friendly to algorithmic utility. By contrast, we find that MAPPO may face the problem of extit{The Policies Overfitting in Multi-agent Cooperation(POMAC)}, as they learn policies by the sampled advantage values. Then POMAC may lead to updating the multi-agent policies in a suboptimal direction and prevent the agents from exploring better trajectories. In this paper, to mitigate the multi-agent policies overfitting, we propose a novel policy regularization method, which disturbs the advantage values via random Gaussian noise. The experimental results show that our method outperforms the Fine-tuned QMIX, MAPPO-FP, and achieves SOTA on SMAC without agent-specific features. We open-source the code at \url{https://github.com/hijkzzz/noisy-mappo}.

研究の動機と目的

• マルチエージェント協調強化学習、特にMAPPOにおける方策過学習の問題に取り組むこと。特に、サンプリングされたアドバンテージ値に過学習する方策を防ぐこと。
• アドバンテージ関数および価値関数にノイズを導入することで、マルチエージェントアクタクリティック手法における一般化性能と探索性能を向上させること。
• 手作業で設計されたエージェント固有の特徴量に依存せずに、StarCraft Multi-Agent Challenge（SMAC）ベンチマークで最先端の性能を達成すること。
• アドバンテージ関数へのノイズ注入が、特徴工学や単調性制約付きモデルに比べて単純かつ効果的な正則化戦略であることを示すこと。

提案手法

• 訓練中に集中型価値関数に独立したガウスノイズを追加することで、方策更新を正則化するNoisy-Value MAPPO（NV-MAPPO）を提案する。
• 方策最適化に使用するアドバンテージ値に直接ノイズを注入するNoisy-Advantage MAPPO（NA-MAPPO）を導入する。
• 同じMAPPOフレームワークを用いるが、価値関数またはアドバンテージ関数にi.i.d.ガウスノイズを摂動させることで、アドバンテージ推定プロセスを変更する。
• 方策関数および価値関数の両更新時にノイズを適用し、学習の安定性を保ちつつ探索を促進するようにノイズスケジューリングを設計する。
• 同一の訓練・分散実行（CTDE）パラダイムを採用し、元のMAPPOアーキテクチャを維持した上で、ノイズに基づく正則化を追加する。
• ノイズはエピソードごと・エージェントごとに適用され、方策勾配信号の確率的性質を保証することで、特定のアドバンテージ推定値への過学習を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 アドバンテージ関数または価値関数にノイズを注入することで、協調的マルチエージェント強化学習における方策過学習を緩和できるか？
• RQ2 ノイズに基づく正則化は、MAPPO-FPのような特徴工学手法に比べて性能面およびアルゴリズムの単純さにおいて優れているか？
• RQ3 単純なノイズ注入手法が、エージェント固有の特徴量や単調性制約なしにSMACで最先端の結果を達成できるか？
• RQ4 価値関数またはアドバンテージ関数へのノイズが、マルチエージェント設定における方策エントロピーおよび探索ダイナミクスに与える影響は何か？
• RQ5 提案手法は、QMIXが単調性制約のため失敗する非単調環境にも一般化可能か？

主な発見

• NV-MAPPOは、すべてのハードなSMACシナリオで平均97%の勝率を達成し、微調整されたQMIXおよびMAPPO-FPを上回った。
• 本手法はエージェント固有の特徴量を一切使用しない状態でSMACで最先端の性能を達成し、優れたアルゴリズム的実用性を示した。
• NA-MAPPOはシナリオ間で高い性能のばらつきを示しており、アドバンテージ値へのノイズが学習を不安定化させる可能性があるものの、依然としてヴァナイラMAPPOを上回った。
• NV-MAPPOは方策エントロピーのダイナミクスを顕著に改善し、劣悪な方策への早期収束を防いだ。3s5z_vs_3s6zシナリオでその効果が確認された。
• 価値関数推定のばらつきが大きいシナリオ（例：3s5z_vs_3s6z）では、NV-MAPPOが最大の性能向上を示し、ノイズ誘発正則化と性能向上の関連性を裏付けた。
• 非単調な行列ゲームでは、NV-MAPPOがQMIXを上回った。これは、QMIXが単調性制約のため失敗する環境でも本手法が有効であることを示している。