[論文レビュー] Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments

Yan Zheng, Jianye Hao+1 more|arXiv (Cornell University)|Feb 23, 2018

Reinforcement Learning in Robotics参考文献 18被引用数 7

ひとこと要約

本稿では、重み付き二重推定器と緩められた報酬ネットワーク、およびスケジュール付きリプレイ戦略を組み合わせることで、協調的環境における非定常性と確率的要因に対処する、マルチエージェント深層強化学習フレームワーク「重み付き二重ディープQネットワーク（WDDQN）」を提案する。WDDQNは、特に複雑で視覚的に豊かで確率的な設定において、DDQN や緩められたQ学習よりも高速に収束し、平均報酬が高くなる。

ABSTRACT

Recently, multiagent deep reinforcement learning (DRL) has received increasingly wide attention. Existing multiagent DRL algorithms are inefficient when facing with the non-stationarity due to agents update their policies simultaneously in stochastic cooperative environments. This paper extends the recently proposed weighted double estimator to the multiagent domain and propose a multiagent DRL framework, named weighted double deep Q-network (WDDQN). By utilizing the weighted double estimator and the deep neural network, WDDQN can not only reduce the bias effectively but also be extended to scenarios with raw visual inputs. To achieve efficient cooperation in the multiagent domain, we introduce the lenient reward network and the scheduled replay strategy. Experiments show that the WDDQN outperforms the existing DRL and multiaent DRL algorithms, i.e., double DQN and lenient Q-learning, in terms of the average reward and the convergence rate in stochastic cooperative environments.

研究の動機と目的

• 協調的マルチエージェント強化学習環境における非定常性と確率的要因の課題に対処すること。
• 生の視覚入力を用いるマルチエージェント設定において、既存の深層Qネットワーク（DQN）や二重DQN（DDQN）の不安定さと収束不良を克服すること。
• 重み付き二重推定器や優先順位付き経験再生といった高度な構成要素を統合することで、学習効率と方策の質を向上させること。
• 他のエージェントの行動や報酬を観測しない独立学習者（ILs）が、共通の報酬を最大化しつつ効果的に協調できるようにすること。
• マルチエージェントダイナミクスに特化した補助的メカニズムを用いて、高次元で確率的な環境における訓練を安定化させること。

提案手法

• 単エージェントRLにおける重み付き二重Q学習（WDQ）推定器をマルチエージェント深層強化学習分野に拡張し、Q値の過大評価バイアスを低減する。
• ノイズの多いまたは最適でない即時の報酬に敏感にならないように、報酬信号を緩和する「緩められた報酬ネットワーク（LRN）」を導入する。
• 学習の安定化と収束の加速を図るために、リプレイの優先順位を動的に調整する「スケジュール付きリプレイ戦略（SRS）」を提案する。
• 重み付き二重推定器を深層ニューラルネットワークと統合し、生の視覚観測と大きな状態空間を扱えるようにする。
• 優先順位付き経験再生をマルチエージェント設定に適合させ、非定常な方策下でも安定した訓練を保証する。
• 共通の報酬関数を共有するが、互いの行動を観測しない独立学習者（ILs）を用い、スケーラブルな協調を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単エージェントRLから得られる重み付き二重推定器を、協調的マルチエージェント深層強化学習に効果的に拡張できるか？
• RQ2 緩められた報酬ネットワークは、確率的協調的環境における学習の安定性と収束性をどのように向上させるか？
• RQ3 スケジュール付きリプレイ戦略は、生の視覚入力を用いるマルチエージェントDRLにおいて、訓練速度と方策品質をどの程度向上させるか？
• RQ4 WDQにLRNとSRSを組み合わせることで、平均報酬と収束速度の面でDDQNや緩められたQ学習を上回る性能が得られるか？
• RQ5 WDDQNは、確率的報酬と大きな状態空間を有する環境において、最適な協調方策を信頼性高く学習できるか？

主な発見

• WDDQNは、平均報酬の面でDDQNや緩められたQ学習を上回り、2匹の捕食者による追跡タスクにおいて安定した平均報酬80を達成しており、これは最適方策に対応する。
• 緩められた報酬ネットワークとスケジュール付きリプレイを除いたWDDQNバージョン（WDDQN w.o. LRN+SRS）は、長時間にわたる訓練後でさえ収束しないことが示され、両方の補助的構成要素の必要性が強調された。
• LRNとSRSを両方備えたWDDQNは、他のバージョンよりも高速かつ安定して収束するため、提案されたメカニズムの相乗効果が裏付けられた。
• 緩められた報酬ネットワークにより、報酬が確率的である環境では、協調の早期化が促進され、劣悪な方策への過早収束が軽減される。
• パックマン環境では、WDDQNはDDQNやWDDQN w.o. LRN+SRSと比較して、著しく高速かつ安定した収束を示した。
• 実験的結果から、WDDQNが確率的要因と非定常性に対して頑健であり、複雑な協調的タスクにおいて複数回の実行で一貫した性能を発揮することが確認された。