[論文レビュー] Promoting Coordination through Policy Regularization in Multi-Agent Deep Reinforcement Learning

Julien Le Roy, Paul Barde+3 more|arXiv (Cornell University)|Aug 6, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 13

ひとこと要約

本稿では、マルチエージェント強化学習（MARL）における連携を向上させるために、チームメイトの行動を予測するか、部分方策の選択を同期化することを促す2つのポリシー正則化手法—TeamRegとCoachReg—を提案する。実験の結果、CoachRegはスパarsely-rewardedな連続的制御タスクおよび離散的行動のGoogle Research Football環境において、顕著に性能を向上させる一方、TeamRegはタスク依存の信号を提供するが有用であることが示された。

ABSTRACT

In multi-agent reinforcement learning, discovering successful collective behaviors is challenging as it requires exploring a joint action space that grows exponentially with the number of agents. While the tractability of independent agent-wise exploration is appealing, this approach fails on tasks that require elaborate group strategies. We argue that coordinating the agents' policies can guide their exploration and we investigate techniques to promote such an inductive bias. We propose two policy regularization methods: TeamReg, which is based on inter-agent action predictability and CoachReg that relies on synchronized behavior selection. We evaluate each approach on four challenging continuous control tasks with sparse rewards that require varying levels of coordination as well as on the discrete action Google Research Football environment. Our experiments show improved performance across many cooperative multi-agent problems. Finally, we analyze the effects of our proposed methods on the policies that our agents learn and show that our methods successfully enforce the qualities that we propose as proxies for coordinated behaviors.

研究の動機と目的

• エージェント数の増加に伴い指数関数的に増大する連携行動空間を考慮した、マルチエージェント強化学習における連携行動の発見の課題に対処すること。
• 複雑なグループ戦略を要するタスクではしばしば失敗する、独立した探索の限界を克服すること。
• タスク固有の報酬形状に依存せずに、探索を連携行動へ誘導する誘導的バイアスをポリシー学習に組み込むこと。
• 連携促進正則化子の有効性を、連続的および離散的行動環境、特に挑戦的なスパarsely-rewardedな設定において評価すること。
• 提案手法が学習されたポリシーが、予測可能で同期的な行動を示すように、どのように形状づけるかを分析すること。

提案手法

• 各エージェントがチームメイトの行動を予測するよう促すTeamRegを提案。共有された行動予測ヘッドを用いて、エージェント間の予測可能性を促進する。
• CoachRegを導入。エージェントが共有された環境状態を認識し、一様に行動することで、部分方策の選択を同期化する。
• 両正則化子を、集中型学習と分散型実行（CTDE）フレームワークに統合。主な報酬最大化目的と同時に最適化する。
• 共同行動に基づく価値推定を提供する集中型クライアントを用い、ポリシー正則化子が高報酬の連携戦略へ学習を誘導できるようにする。
• MADDPGをベースアルゴリズムとして採用。集中型学習中に新しい正則化目的を拡張し、分散型推論を維持する。
• 連続的制御タスク（例：マルチエージェントピクセル環境）および離散的行動のGoogle Research Football環境に、両手法を適用し、一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 エージェント間行動予測可能性を促進するポリシー正則化（TeamReg）は、協調的MARLタスクにおけるサンプル効率および性能を向上させるか？
• RQ2 部分方策の選択を同期化する（CoachReg）ことは、マルチエージェント環境においてより効果的な連携とより速い収束をもたらすか？
• RQ3 成功した連携が偶然に発見されにくいスパarsely-rewardedな環境では、これらの正則化手法がどのように機能するか？
• RQ4 TeamRegが恩恵をもたらす環境と、逆に有害となる環境（例：競合的要素を含む環境）はどのようなものか？
• RQ5 提案手法が、予測可能または同期的行動を示すような、測定可能な連携を示すポリシーをどの程度まで導くか？

主な発見

• CoachRegは、評価されたすべての環境で一貫して性能を向上させた。特に、3vs2のGoogle Research Football設定では、MADDPG + CoachRegのみが正の平均報酬（0.088 ± 0.017）を達成した。
• TeamRegは、外部報酬が存在しない状況でも、連携戦略を発見するのに役立つ密度の高い学習信号を提供した。特に、相互予測を要するタスクで顕著だった。
• マルチエージェントピクセル環境では、3vs2タスクでCoachRegが平均報酬0.088 ± 0.017を達成し、ベースラインのMADDPGおよびMADDPG + TeamRegを著しく上回った。
• TeamRegは結果が混合的であった。一部のタスクでは性能向上を示したが、競合的要素を含む環境では有害であった。これは、タスク依存の有効性を示している。
• アブレーションスタディの結果、両正則化子がポリシー行動を顕著に変化させ、意図した通りにエージェント間行動の予測可能性と部分方策の同期化を高めた。
• これらの手法は、意図した連携の代理指標（予測可能性と同期性）を効果的に強制した。ポリシー正則化が、MARL学習に連携の誘導的バイアスを効果的に埋め込むことができることを示した。