[論文レビュー] Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing

Filippos Christianos, Georgios Papoudakis+2 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 24被引用数 17

ひとこと要約

本稿では、訓練開始前にエージェントをその学習済み行動と目的に基づいて動的にクラスタに分割する、選択的パラメータ共有（SePS）を提案する。SePSは類似したエージェント間でのみ効率的かつ効果的なパラメータ共有を可能にし、サンプル効率と訓練速度を向上させつつ、単純なパラメータ共有や独立ネットワークよりも高い最終的リターンを達成する。本手法は、複雑な環境における数百体の非均質的エージェントにもスケーラブルに適用可能である。

ABSTRACT

Sharing parameters in multi-agent deep reinforcement learning has played an essential role in allowing algorithms to scale to a large number of agents. Parameter sharing between agents significantly decreases the number of trainable parameters, shortening training times to tractable levels, and has been linked to more efficient learning. However, having all agents share the same parameters can also have a detrimental effect on learning. We demonstrate the impact of parameter sharing methods on training speed and converged returns, establishing that when applied indiscriminately, their effectiveness is highly dependent on the environment. We propose a novel method to automatically identify agents which may benefit from sharing parameters by partitioning them based on their abilities and goals. Our approach combines the increased sample efficiency of parameter sharing with the representational capacity of multiple independent networks to reduce training time and increase final returns.

研究の動機と目的

• 非均質な環境では無差別なパラメータ共有が学習を損なうという、マルチエージェント強化学習における単純なパラメータ共有の限界を解消すること。
• 共有表現が恩恵をもたらすエージェントグループを同定することで、訓練効率と最終的パフォーマンスを向上させること。
• パラメータ共有の利点と独立ネットワークの表現能力を組み合わせることで、MARLを数百体のエージェントにスケーリングすること。
• 共有パラメータにおける矛盾する方策更新を防ぐことで、訓練中のエージェント間の干渉を低減すること。
• 訓練中に動的再構成を必要としない、アーキテクチャ構成のための事前学習手法を提供すること。

提案手法

• 訓練開始前に収集された軌道を用いて、エージェントを埋め込み空間に変換する。
• 埋め込みに非教師ありクラスタリングアルゴリズムを適用し、類似した行動と目的を持つエージェントをグループ化する。
• パラメータ共有は各クラスタ内でのみ適用され、異なるエージェントグループごとに別々のニューラルネットワークヘッドが作成される。
• 本手法は事前学習ステップとして機能し、方策最適化が開始される前に固定されたアーキテクチャを確立する。
• SePSは、経験共有を伴う集中型訓練（CTDE）フレームワーク、例えばMADDPG、Q-Mix、SEACと互換性がある。
• 個々のエージェント用ネットワークの計算オーバーヘッドを回避しつつ、多様な役割を果たすための表現能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 単純なパラメータ共有は、非均質なマルチエージェント環境で学習パフォーマンスを低下させるか？
• RQ2 行動の類似性に基づいてエージェントをクラスタリングすることで、MARLにおけるパラメータ共有の有効性が向上するか？
• RQ3 完全共有または共有なしと比較して、選択的パラメータ共有は訓練速度と最終リターンをどの程度向上させるか？
• RQ4 役割やダイナミクスが異なるエージェントが存在する状況で、SePSは数百体のエージェントにスケーリング可能か？
• RQ5 SePSは、SEACのような経験共有ベースラインと比較して、計算効率とパフォーマンスの面で優れているか？

主な発見

• SePSは、複数の環境において、単純なパラメータ共有と独立ネットワークの両方を上回る高い最終的リターンを達成した。
• 独立ネットワークと比較して、SePSは訓練時間を顕著に短縮したが、サンプル効率を維持または向上させた。
• 非均質なエージェントを含む環境では、SePSは完全パラメータ共有（FuPS）とパラメータ共有なし（NoPS）の両方を、収束速度と最終パフォーマンスの面で上回った。
• SePSは非均質な環境において最大200体のエージェントに成功裏にスケーリングし、大規模マルチエージェント設定への耐性を示した。
• 本手法は、行動の類似性に基づいたエージェントグループの特定を効果的に行い、異なる役割間の干渉を避けるとともに、的確なパラメータ共有を可能にした。
• SePSを用いた強化学習では、エージェント間の干渉が低減した。なぜなら、エージェントがもはや矛盾する共有パラメータを更新しなくなったからである。