[論文レビュー] Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Gregory Farquhar+2 more|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 37

ひとこと要約

Weighted QMIXはQMIXフレームワークに重み付き投影を導入し、高価値アクションを強調することで最適な結合アクションの回復を改善し、Centrally-Weighted (CW) および Optimistically-Weighted (OW) バリアントを提示し、Predator Prey および SMAC タスクで経験的な利得を示す。

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting, we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

研究の動機と目的

• QMIXのモノトニック混合が結合アクション価値関数を捉える際の表現上の制限を特定する。
• 投影における重み付けスキームを提案し、最適な結合アクションを優先する。
• Scal ableな深層RLバリアント（CW-QMIXとOW-QMIX）を開発し、理論的・実証的に検証する。
• マルチエージェントタスクにおける探索への頑健性と性能の改善を実証する。
• 最適方策への収束を可能にするための制限なしのQ*近似の役割を分析する。

提案手法

• QMIXをQ-learning演算子のモノトニック関数空間Qmixへの射影として定式化し、過小表現と過大表現の可能性を示す。
• Qmixへ適合させる際に結合アクションを重み付けする重み付き射影Pi_wを導入する（Eq. 3）。
• Idealised Central Weighting（Eq. 4）とOptimistic Weighting（Eq. 5）の2つの重み付けを提案し、正のargmax回復を保証する定理（定理1と定理2）を与える。
• 学習された制限なしhat{Q}^*がターゲットを指示する重み付きQMIX演算子を定義する（Eq. 6）と重み付き結合（Eq. 7）。
• 深層RL実装を開発：CW-QMIXとOW-QMIXではQ_totを重み付き損失で訓練（Eq. 8）し、hat{Q}^*は非モノトニック混合で訓練（Eq. 9）。
• CW（Eq. 10）とOW（Eq. 5）に対して実用的な重み計算を規定し、最適な結合アクションへ学習を誘導する。

実験結果

リサーチクエスチョン

• RQ1 射影をQMIX関数クラスへ重み付けして導入すると、任意のQを含む最大結合アクション（Q^*を含む）を正しく回復できるか。
• RQ2 スケーラブルなCW-QMIXとOW-QMIXは、非モノトニックで協調的なマルチエージェントタスクにおいてQMIXより性能と頑健性を向上させるか。
• RQ3 重み付きQMIX射影と組み合わせた場合、制限なしのQ^*近似を学習することは最適ポリシーへの収束を助けるか。
• RQ4 Predator PreyやSMACのような困難な協調ベンチマークで、探索レジームを変えた場合に提案手法はどのように機能するか。

主な発見

• 重み付き射影Pi_wは、考慮された重み付け（Idealised CentralおよびOptimistic）に対して最適結合アクションの正しいargmaxを回復でき、QMIXの過小評価リスクに対処する。
• 制限なし近似hat{Q}^*は、重み付き射影と併用することでQ^*へ収束し、最適ポリシーの回復を可能にする。
• CW-QMIXとOW-QMIXは、QMIXでは解けなかった捕食-獲物タスクでの性能が向上し、SMACマップでの探索率の上昇に対して頑健性を示す。
• SMAC実験全体を通じて、Weighted QMIX変種は探索を増やした状況下でベースラインを上回り、探索的レジームでの協調性が向上していることを示す。
• アブレーション実験は、ゲインを得るには重み付けと制限なし hat{Q}^* の両方の組み込みが必要であることを示し、hat{Q}^* のアーキテクチャ選択が性能に影響を与える可能性がある。