[論文レビュー] Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning

Jakob Foerster, Nantas Nardelli+5 more|arXiv (Cornell University)|Feb 28, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 333

ひとこと要約

この論文は、経験再生を用いた深層マルチエージェントQ学習を安定化させる2つの方法を提示します。マルチエージェント重要サンプリングと、リプレイデータを異なる訓練段階と識別する指紋付けアプローチです。

ABSTRACT

Many real-world problems, such as network packet routing and urban traffic control, are naturally modeled as multi-agent reinforcement learning (RL) problems. However, existing multi-agent RL methods typically scale poorly in the problem size. Therefore, a key challenge is to translate the success of deep learning on single-agent RL to the multi-agent setting. A major stumbling block is that independent Q-learning, the most popular multi-agent RL method, introduces nonstationarity that makes it incompatible with the experience replay memory on which deep Q-learning relies. This paper proposes two methods that address this problem: 1) using a multi-agent variant of importance sampling to naturally decay obsolete data and 2) conditioning each agent's value function on a fingerprint that disambiguates the age of the data sampled from the replay memory. Results on a challenging decentralised variant of StarCraft unit micromanagement confirm that these methods enable the successful combination of experience replay with multi-agent RL.

研究の動機と目的

• 非定常性の下で、完全協調的なマルチエージェント設定におけるエクスペリエンスリプレイを深層RLに適用する課題を動機付ける。
• エージェントが同時に学習する際に安定かつサンプル効率の高い学習を可能にする方法を開発する。
• 提案手法の有効性を、難易度が高く部分的に観測可能なマルチエージェント領域（分散型StarCraftマイクロマネジメント）で実証する。
• エクスペリエンスリプレイを深層マルチエージェントQ学習と効果的に組み合わせることができるかを評価する。
• 非定常性がリプレイに与える影響と、それを緩和する方法の分析を提供する。

提案手法

• リプレイタプルに他のエージェントのポリシ情報を追加し、リプレイ学習中に重要度重み付き損失を適用することで、マルチエージェント重要サンプリングを導入する。
• 他のエージェントのポリシー変化を考慮した拡張（オフ環境）ベルマン方程式を定式化し、重要度サンプリング補正を導出する。
• マルチエージェント指紋付けを提案：各エージェントのQ関数を低次元の指標（例: 訓練反復 e および探索率 ε）で条件付け、リプレイデータの出所を識別可能にする。
• 部分観測性を扱うため、リカレントアーキテクチャを用いた深層Q学習を拡張し、フィードフォワードとリカレントモデルの双方を評価する。
• 分散型StarCraftマイクロマネジメント領域で、XP、XP+IS、XP+FP の変種をリプレイ有無で比較する実験を行う。
• マルチエージェント設定で分散方での分散を抑えるため、重要度重みのクリップと正規化を行う。

実験結果

リサーチクエスチョン

• RQ1 同時学習エージェントからの非定常性にもかかわらず、深層マルチエージェントQ学習でエクスペリエンスリプレイを安定化できるか？
• RQ2 重要度サンプリングとデータ年齢指紋が、マルチエージェントRLのリプレイデータの非定常性を効果的に緩和するか？
• RQ3 これらの手法は、分散型StarCraftマイクロマネジメントタスクにおける学習安定性とサンプル効率にどう影響するか？

主な発見

• リプレイを安定化させないNOXPは、探索が低下するにつれて Greedy ポリシーに過度適合して性能が劣る。
• プレーンなエクスペリエンスリプレイ（XP）は NOXP より安定性と性能を改善するが、他のエージェントからの非定常性を完全には説明できない。
• マルチエージェント重要サンプリング（XP+IS）はフィードフォワードモデルでわずかな利得をもたらすが、部分観測設定では近似的で、重みの分散が大きくなることがある。
• 指紋付け（XP+FP）は訓練段階を識別可能にすることでフィードフォワードモデルの性能を劇的に向上させ、リプレイデータの活用を改善する。ISとFPの組み合わせは追加の利点をもたらさない。
• リカレントモデルは軌跡情報が非定常性を部分的に緩和することを示し、指紋付けは観測に段階関連情報を符号化することでさらに効果を高める。
• 全体として、XP+FPは、検証された分散型StarCraftマイクロマネジメントタスクにおいて、ベースラインを一貫して上回る。