[論文レビュー] Weighted QMIX: Expanding Monotonic Value Function Factorisation.

Tabish Rashid, Gregory Farquhar+2 more|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 12被引用数 22

ひとこと要約

本稿では、価値関数因子分解における重み付き射影を導入することで表現能力を向上させる、QMIXの新規拡張であるWeighted QMIXを提案する。中央で最適化された重み付け方式（Centrally-Weighted, CW）と楽観的重み付け方式（Optimistically-Weighted, OW）を用いて、優れた連携行動を優先することで、QMIXの標準的な無重み射影が失敗する状況でも最適方策の正確な回復を可能にし、捕食者・獲物およびStarCraftベンチマークにおいて優れた性能を示した。

ABSTRACT

QMIX is a popular $Q$-learning algorithm for cooperative MARL in the centralised training and decentralised execution paradigm. In order to enable easy decentralisation, QMIX restricts the joint action $Q$-values it can represent to be a monotonic mixing of each agent's utilities. However, this restriction prevents it from representing value functions in which an agent's ordering over its actions can depend on other agents' actions. To analyse this representational limitation, we first formalise the objective QMIX optimises, which allows us to view QMIX as an operator that first computes the $Q$-learning targets and then projects them into the space representable by QMIX. This projection returns a representable $Q$-value that minimises the unweighted squared error across all joint actions. We show in particular that this projection can fail to recover the optimal policy even with access to $Q^*$, which primarily stems from the equal weighting placed on each joint action. We rectify this by introducing a weighting into the projection, in order to place more importance on the better joint actions. We propose two weighting schemes and prove that they recover the correct maximal action for any joint action $Q$-values, and therefore for $Q^*$ as well. Based on our analysis and results in the tabular setting we introduce two scalable versions of our algorithm, Centrally-Weighted (CW) QMIX and Optimistically-Weighted (OW) QMIX and demonstrate improved performance on both predator-prey and challenging multi-agent StarCraft benchmark tasks.

研究の動機と目的

• QMIXの表現制限を特定・解決すること。これは、Q*にアクセス可能であっても、無重み射影により最適方策を回復できないという点に起因する。
• QMIXの最適化目的を、すべての連携行動において無重み二乗誤差を最小化する射影演算子として形式化すること。
• 射影ステップを改善するために、より良い連携行動を優先する重みを導入することで、方策回復を向上させること。
• 中心的トレーニングと分散的実行のパラダイムを維持しながら、性能を向上させるスケーラブルで効果的な変種（CW QMIXおよびOW QMIX）を開発すること。

提案手法

• 本稿では、QMIXを、Q学習ターゲットを計算し、無重み最小二乗最小化によってQMIXが表現可能な空間に射影する演算子として形式化する。
• 射影におけるすべての連携行動への等重み付けが、Q*が既知であっても最適方策の回復が不十分になる原因であると特定する。
• 射影ステップにおいて、より優れた性能を示す連携行動に高い重要性を割り当てる重み付き射影メカニズムを導入する。
• 2つの重み付け方式を提案する：中央的重み付けQMIX（CW QMIX）は、連携行動の質に関する中央集権的知識を用い、楽観的重み付けQMIX（OW QMIX）は、高報酬行動を優先するために楽観的推定値を用いる。
• 理論的分析により、両方の重み付け方式が、Q*を含む任意の連携行動Q値において正しい最大行動を回復できることを証明する。
• これらの手法はスケーラブルなディープ強化学習設定へと拡張され、テーブル型およびディープMARLベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 Q*が利用可能であっても、QMIXの無重み射影が最適方策の回復を不完全にする可能性があるか？
• RQ2 QMIXの射影における連携行動の等重み付けが、最適方策を表現する能力に与える影響は何か？
• RQ3 射影ステップに適応的重み付けを導入することで、協調的マルチエージェント強化学習における方策回復と性能が向上するか？
• RQ4 提案された重み付け方式（CW QMIXおよびOW QMIX）は、任意のQ値関数において最適方策の正確な回復を達成するか？
• RQ5 向上した表現能力は、捕食者・獲物やStarCraftのような挑戦的なマルチエージェント環境における性能向上に繋がるか？

主な発見

• 標準的なQMIXの射影は、無重み最小二乗射影におけるすべての連携行動への等重み付けのため、Q*にアクセス可能であっても最適方策を回復できない。
• 適応的重み付け機構を備えたWeighted QMIXは、Q*を含む任意の連携行動Q値において、正しい最大行動を正確に回復できた。
• CW QMIXおよびOW QMIXは、分析の理論的条件下で、両方とも正確な方策回復を達成した。
• テーブル型環境では、提案手法はQMIXが失敗する状況でも最適行動を正しく特定でき、標準QMIXを上回った。
• 捕食者・獲物およびStarCraft IIを含むディープMARLベンチマークでは、Weighted QMIXは標準QMIXと比較して、より高いサンプル効率と最終的な性能を示した。
• その改善は、価値関数射影の過程で高品質な連携行動を優先することで得られる表現能力の向上に起因する。