[論文レビュー] Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients

Arbaaz Khan, Clark Zhang+3 more|arXiv (Cornell University)|May 22, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 17

ひとこと要約

本稿では、すべてのエージェントに共通する1つのポリシーを学習するために分散ポリシー勾配最適化を用いる、スケーラブルな集中型ディープマルチエージェント強化学習アルゴリズムであるDIMAPGを提案する。エージェントのポリシーがパrameter空間で近くにあるという仮定のもとで、協調的および競合的タスクにおいて効率的に連携行動を学習でき、MADDPG や集中型「キッチンシンク」手法といったベースラインを上回る性能を示す。特にエージェント数が増加する際の性能向上が顕著である。

ABSTRACT

In this paper, we explore using deep reinforcement learning for problems with multiple agents. Most existing methods for deep multi-agent reinforcement learning consider only a small number of agents. When the number of agents increases, the dimensionality of the input and control spaces increase as well, and these methods do not scale well. To address this, we propose casting the multi-agent reinforcement learning problem as a distributed optimization problem. Our algorithm assumes that for multi-agent settings, policies of individual agents in a given population live close to each other in parameter space and can be approximated by a single policy. With this simple assumption, we show our algorithm to be extremely effective for reinforcement learning in multi-agent settings. We demonstrate its effectiveness against existing comparable approaches on co-operative and competitive tasks.

研究の動機と目的

• エージェント数の増加に伴う従来のディープマルチエージェント強化学習（MARL）手法のスケーラビリティの限界を解消すること。
• 高エージェント数における分散型MARLフレームワークの次元の呪いとサンプル非効率性を克服すること。
• 集中型経験と分散最適化を用いてすべてのエージェントに共通する1つのポリシーを学習することで、大規模マルチエージェントシステムにおける効果的な学習を可能にすること。
• エージェント数が増加する協調的ナビゲーション、捕食者・獲物、生存タスクにおいて、最先端のベースラインと比較して優れた性能を示すこと。

提案手法

• 各エージェントが局所的勾配を用いて共有された中央ポリシーを改善する分散最適化タスクとしてMARL問題を定式化する。
• 共同状態-行動価値を計算する集中型クライアントを用い、勾配を逆伝播させて共有ポリシーのパラメータを更新する。
• 各エージェントの局所的ポリシー適合が中央ポリシーの更新に寄与するポリシー勾配更新を適用し、エージェント間の一貫性を維持する。
• 計算上のトレードオフを伴うが、効率的なポリシー更新のための2次勾配の近似を実施する。
• すべてのエージェントに共通する1つのポリシーを学習するが、パrameter空間におけるポリシーの類似性を仮定することで、自己組織的集団行動の出現を可能にする。
• 推論段階では、学習済みポリシーをすべてのエージェントに均等に展開し、対称性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化を用いて学習された1つの共有ポリシーは、大規模マルチエージェント環境に効果的にスケーリング可能か？
• RQ2 エージェント数が増加する協調的および競合的タスクにおいて、提案手法の性能は分散型および集中型ベースラインと比較してどうなるか？
• RQ3 パrameter空間におけるエージェントポリシーの類似性を仮定することで、大規模MARLにおける効果的な一般化とサンプル効率性が達成可能か？
• RQ4 共有ポリシー学習を用いた集中型フレームワークは、マルチエージェント環境における個別ポリシー学習をどの程度上回るか？
• RQ5 複雑な相互作用を示すマルチエージェント環境において、非定常性と報酬割り当ての問題は、この手法がどのように扱えるか？

主な発見

• DIMAPGは、最大10エージェントの協調的ナビゲーションタスクにおいて、唯一の迅速収束を達成した。
• 12対1および3対1の捕食者・獲物ゲームでは、MADDPGや集中型「キッチンシンク」手法に比べ、捕食者の平均報酬が高く、特に速度差が大きい条件下でも顕著に優れた性能を示した。
• 生存タスクにおける630エージェントのシナリオでは、1エピソードあたり平均報酬674を達成し、生存者490名、残存食料0という結果を得ており、効果的な協調行動と生存戦略が実現していることが示された。
• 230エージェントのシナリオでは、平均報酬946、生存者227名、残存食料0という結果を得ており、エージェントが攻撃的にならずに協力的に食料を集める戦略を学習していることが示された。
• 単一エージェントのファインチューニングや個別ポリシー学習よりも性能が優れており、共有ポリシー学習が個別適応よりも効果的であることが確認された。
• 共有ポリシーθとkショット適応ポリシーθ’の両方がほぼ同一の性能を示すという仮説が裏付けられ、パrameter空間におけるポリシー類似性の妥当性が検証された。