[論文レビュー] Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Gregory Farquhar+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用数 114

ひとこと要約

Weighted QMIX は QMIX の値の因子分解に対して重み付き射影を導入し、最適な結合行動をより良く回復し、協調タスクでの性能と探索へのロバスト性を向上させます。さらに、 unrestricted "+hat{Q}^{*}+" プロ predictor を備えた実用的な深層強化学習実装 CW-QMIX および OW-QMIX も提案します。

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting, we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

研究の動機と目的

• QMIX の単調性に基づく価値関数混合による表現上の制限を評価する。
• QMIX を Q 学習ターゲットを制限された関数空間へ射影として形式化する。
• 射影に重み付けを導入してより良い結合行動を強調し最適方策を回復する。
• スケーラブルな深層強化学習の変種（CW-QMIX と OW-QMIX）を開発し MARL ベンチマークで評価する。
• Predator Prey および SMAC タスクで探索へのロバスト性と性能の改善を示す。

提案手法

• QMIX を単調関数空間 Q^{mix} への射影演算子として定式化する。
• 一様重み付けが最適な結合行動を回復できないことを示し、重み付け射影 Pi_w を導入する。
• 二つの重み付けを提案する：理想化された中央重み付けと、正しい argmax を回復することを形式的に保証する楽観的重み付け。
• 学習された unrestricted Q^{*} と重み付け射影を用いて Q_tot を得る Weighted QMIX (WQMIX) を定義する。
• ディープ RL の実装を説明する：ミキシングネットワークを用いた Q_tot、unrestricted hat{Q}^{*}、損失における重み w、ターゲット y_i は Q_tot の argmax を用いる。
• 二つのスケーラブルな深層RL変種を提供する：Centrally-Weighted QMIX (CW-QMIX) と Optimistically-Weighted QMIX (OW-QMIX)。

実験結果

リサーチクエスチョン

• RQ1 QMIX の表現空間への重み付き射影は、QMIX の非重み付き射影が失敗する場合に最適な結合行動を回復できるか。
• RQ2 重み付け手法（理想化された中央と楽観的）のいずれも、任意の Q に対して最大結合行動の回復を保証するか。
• RQ3 unrestricted hat{Q}^{*} および重み付き射影を取り入れると、実務上で Q^{*} への収束と最適方策へ導かれるか。
• RQ4 CW-QMIX および OW-QMIX は MARLベンチマークで協調と探索へのロバスト性を改善するか。
• RQ5 Weighted QMIX を深層RLタスクへスケールする際の制限と実務的考慮点は何か。

主な発見

• 特定の重み付けの下で、Q^{mix} への重み付け射影は正しい最大結合行動を回復でき、QMIX の失敗モードを解決する。
• 二つの重み付け手法を提案し、任意の Q（Q^{*} を含む）に対して正しい argmax を回復できることを理論的に示す。
• 制限のない hat{Q}^{*} を導入することで Q^{*} のより豊かな近似を学習できる一方、Q_tot を指針として用いることで最適方策への収束を実現する。
• CW-QMIX および OW-QMIX は Predator-Prey タスクと SMAC ベンチマークで、探索が強い場合に QMIX よりも性能が改善されることを示す。
• Weighted QMIX は挑戦的な MARL シナリオで探索と協調性のロバスト性を高めるが、hat{Q}^{*} のアーキテクチャ選択が結果に影響を与える可能性がある。
• uniform weighting の限界を明らかにし、方策回復における重み付けの実務的な利点を示す。