[論文レビュー] Revisiting the Gumbel-Softmax in MADDPG

Callum Rhys Tilbury, Filippos Christianos+1 more|arXiv (Cornell University)|Feb 23, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文は、離散グリッドワールド環境におけるマルチエージェント強化学習のためのMADDPGにおいて、偏りのあるGumbel-Softmax（GS）勾配推定器を、代替の離散勾配推定器に置き換える。Gapped Straight Through（GST）推定器は、2.5倍の計算コスト増加にもかかわらず、元のGSを大幅に上回り、報酬を最大55%向上させ、収束速度も速くなった。

ABSTRACT

MADDPG is an algorithm in multi-agent reinforcement learning (MARL) that extends the popular single-agent method, DDPG, to multi-agent scenarios. Importantly, DDPG is an algorithm designed for continuous action spaces, where the gradient of the state-action value function exists. For this algorithm to work in discrete action spaces, discrete gradient estimation must be performed. For MADDPG, the Gumbel-Softmax (GS) estimator is used -- a reparameterisation which relaxes a discrete distribution into a similar continuous one. This method, however, is statistically biased, and a recent MARL benchmarking paper suggests that this bias makes MADDPG perform poorly in grid-world situations, where the action space is discrete. Fortunately, many alternatives to the GS exist, boasting a wide range of properties. This paper explores several of these alternatives and integrates them into MADDPG for discrete grid-world scenarios. The corresponding impact on various performance metrics is then measured and analysed. It is found that one of the proposed estimators performs significantly better than the original GS in several tasks, achieving up to 55% higher returns, along with faster convergence.

研究の動機と目的

• 元のGumbel-Softmax（GS）推定器が性能を発揮しない離散グリッドワールド環境において、代替の離散勾配推定器がMADDPGの性能を向上させることを調査すること。
• マルチエージェント設定におけるMADDPGの学習安定性と最終的性能に及ぼすGS推定器の統計的バイアスの影響を評価すること。
• ハイパーパrameterの調整から新規手法に至るまで、さまざまな勾配推定手法をMADDPGフレームワーク内で比較すること。
• GS推定器を低バイアスの代替手法に置き換えることで、サンプル効率の向上と報酬の最大化が顕著に達成されるかどうかを特定すること。
• Papoudakisら（2021）が示唆したように、GSバイアスがMADDPGの離散行動空間タスクにおける劣悪な性能の主な要因であるという仮説を、実証的根拠で裏付けること。

提案手法

• MADDPGに4つの離散勾配推定器を統合：(1) 溫度を段階的に下げるGS、(2) 低温GS、(3) GRMC$K$（Paulusら、2021）、(4) Gapped Straight Through（GST）（Fanら、2022）。
• 推定器をMADDPGのポリシー勾配更新に適用し、離散行動選択のための標準的なGumbel-Softmax再パラメータ化を置き換える。
• 独立したクライアントと集中学習・分散実行（CTDE）を採用した標準的なMADDPGアーキテクチャを採用し、勾配緩和を用いて離散行動を処理可能に変更。
• Papoudakisら（2021）のベンチマークから得た9つのグリッドワールドタスクを用い、協力的および部分観測可能な設定を含む。
• 標準的なMARL指標（累積報酬、学習収束速度、勾配分散分析）を用いて、推定器の性能を比較。
• 特に温度スケジューリングを対象としたアブレーションスタディを実施し、各推定器のハイパーパramータへの感受性とロバストネスを評価。

実験結果

リサーチクエスチョン

• RQ1 MADDPGにおけるGumbel-Softmax推定器を、代替の離散勾配推定器に置き換えることで、離散グリッドワールド環境における性能が向上するか？
• RQ2 Gapped Straight Through（GST）推定器は、標準的なGumbel-Softmaxおよびその変種と比較して、報酬、収束速度、勾配分散の観点でどのように差をつけるか？
• RQ3 MADDPGが離散環境で性能を発揮できない主な要因が、Gumbel-Softmax推定器の統計的バイアスにあるとされるか？
• RQ4 温度を下げるといったGumbel-Softmaxの単純な修正が、より複雑な推定器と同等の性能向上をもたらすか？
• RQ5 MADDPGにおける高度な推定器（GSTなど）と元のGSとの間で、計算コスト対利益のトレードオフはどのようなものか？

主な発見

• Gapped Straight Through（GST）推定器は、いくつかの挑戦的なグリッドワールドタスクで、元のGumbel-Softmaxと比較して最大55%高い報酬を達成した。
• GSTは複数のタスクで収束速度が速く、ベースラインのGS推定器と比較して、より高いサンプル効率を示した。
• Gumbel-Softmaxの緩和温度を低くすることで、標準設定よりも性能が向上したが、GSTほど効果的ではなかった。
• TAGSにおける温度の段階的低下スキームは、この設定では性能が低く、ハイパーパramータ設定に敏感であることが示された。
• GRMC$K$推定器は有望ではあったが、高い計算コストが課題となり、実用性が制限された。低バイアスであるものの、その恩恵はコスト増に打ち消された。
• 勾配分散分析の結果、GSTは1つのタスクでGSよりも安定した勾配を生成しており、学習ダイナミクスの向上を裏付けるものとなった。