[論文レビュー] Rethinking the Implementation Tricks and Monotonicity Constraint in Cooperative Multi-Agent Reinforcement Learning

Jian Hu, Siyang Jiang+3 more|arXiv (Cornell University)|Feb 6, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 35

ひとこと要約

本論文は、コードレベルの最適化とモノトニシティ制約がQMIXベースの協調MARLに与える影響を分析し、最適化が結果を支配し得ること、そしてモノトニシティが純粋に協調的なタスクでサンプル効率を改善し得ることを示している。

ABSTRACT

Many complex multi-agent systems such as robot swarms control and autonomous vehicle coordination can be modeled as Multi-Agent Reinforcement Learning (MARL) tasks. QMIX, a widely popular MARL algorithm, has been used as a baseline for the benchmark environments, e.g., Starcraft Multi-Agent Challenge (SMAC), Difficulty-Enhanced Predator-Prey (DEPP). Recent variants of QMIX target relaxing the monotonicity constraint of QMIX, allowing for performance improvement in SMAC. In this paper, we investigate the code-level optimizations of these variants and the monotonicity constraint. (1) We find that such improvements of the variants are significantly affected by various code-level optimizations. (2) The experiment results show that QMIX with normalized optimizations outperforms other works in SMAC; (3) beyond the common wisdom from these works, the monotonicity constraint can improve sample efficiency in SMAC and DEPP. We also discuss why monotonicity constraints work well in purely cooperative tasks with a theoretical analysis. We open-source the code at \url{https://github.com/hijkzzz/pymarl2}.

研究の動機と目的

• 協調的MARLベンチマークにおけるQMIXとその派生バージョンに対する実装上の工夫の影響を評価する。
• 最適化を正規化した場合、モノトニシティ制約が性能を害するのか、それとも改善するのかを評価する。
• 純粋に協調的な設定において、モノトニシティ制約が有利である条件について理論的議論を提供する。
• 再現コードをオープンソース化し、MARLにおける公正なベンチマークの指針を提供する。

提案手法

• QMIXの派生バージョン全体のコードレベルの最適化を調査し、それらを正規化されたテクニックとして標準化する。
• 最適化計算機の選択（Adam対RMSProp）と並列サンプリング下での影響についてアブレーション研究を行う。
• SMACとDEPPにおけるリプレイバッファサイズ、ローアウト処理回数、隠れネットワークサイズ、探索スケジュールを評価する。
• モノトニック混合ネットワークをクリティックとして使用する、ポリシーベースのエンドツーエンドのActor-CriticであるRIITを提案し、モノトニシティ制約を研究する。
• VMIXへ実験を拡張し、価値ネットワークに対するモノトニシティの影響を評価する。
• モノトニシティをタスク構造（純粋に協調的 vs 半協調/協力 vs 競合）と関連づける理論的定義と命題を提供する。

実験結果

リサーチクエスチョン

• RQ1 SMAC/DEPP上で、コードレベルの最適化はQMIX派生版の大半の性能向上を説明しているのか？
• RQ2 最適化が標準化された場合、モノトニシティ制約は学習効率を害するのか、それとも改善するのか？
• RQ3 純粋に協調的なタスクにおいて、サンプル効率のためにモノトニシティ制約が有利であると証明できるか？
• RQ4 RIIT/VMIX型の設定でモノトニシティを緩和するのは、非純粋な協調設定でいつ役立つか？

主な発見

• 一貫したレジームでハイパーパラメータを探索した場合、正規化されたコードレベルの最適化によりQMIXはSMACでいくつかの派生版を上回る。
• 並列学習を伴うAdamオプティマイザは、RMSPropと比較してQMIXの性能を大幅に改善する。
• 小さなlambdaを用いたQ(lambda)はQMIXを加速するが、大きな値は学習を不安定化させる可能性がある。より小さな値が推奨される。
• サンプル回転が速いマルチエージェント設定で、リプレイバッファを小さくするとQMIXの学習が安定する。
• 隠れネットワークサイズの増加（特にRNNの幅）は難易度の高いSMACシナリオで顕著な性能向上をもたらす。
• モノトニシティ制約はSMACとDEPPにおいてRIITとVMIXのポリシーベース分析下でサンプル効率を改善する可能性がある。しかし、トリックが正規化されている場合、QMIXは一般に緩和版よりも優れている。
• 著者らは純粋に協調的なタスク構造がモノトニック混合ネットワークを支持することを提案し、モノトニシティが有利になる条件について理論的根拠を提供する。