[論文レビュー] Generalization in Cooperative Multi-Agent Systems

Anuj Mahajan, Mikayel Samvelyan+5 more|arXiv (Cornell University)|Jan 31, 2022

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

本稿は、協調的マルチエージェントシステムにおける組み合わせ的一般化（CG）を導入し、エージェントの能力に線形的・リプシッツ連続的・任意の依存関係を示す環境ダイナミクスの下での一般化の理論的境界を提案する。ポリシー移転、価値のずれ、能力推定誤差に対するロバストネスのパフォーマンス保証を確立し、適切な設計のもとでマルチエージェント強化学習（MARL）アルゴリズムが、チーム編成やサイズの変更に対しても一般化できることを示している。

ABSTRACT

Collective intelligence is a fundamental trait shared by several species of living organisms. It has allowed them to thrive in the diverse environmental conditions that exist on our planet. From simple organisations in an ant colony to complex systems in human groups, collective intelligence is vital for solving complex survival tasks. As is commonly observed, such natural systems are flexible to changes in their structure. Specifically, they exhibit a high degree of generalization when the abilities or the total number of agents changes within a system. We term this phenomenon as Combinatorial Generalization (CG). CG is a highly desirable trait for autonomous systems as it can increase their utility and deployability across a wide range of applications. While recent works addressing specific aspects of CG have shown impressive results on complex domains, they provide no performance guarantees when generalizing towards novel situations. In this work, we shed light on the theoretical underpinnings of CG for cooperative multi-agent systems (MAS). Specifically, we study generalization bounds under a linear dependence of the underlying dynamics on the agent capabilities, which can be seen as a generalization of Successor Features to MAS. We then extend the results first for Lipschitz and then arbitrary dependence of rewards on team capabilities. Finally, empirical analysis on various domains using the framework of multi-agent reinforcement learning highlights important desiderata for multi-agent algorithms towards ensuring CG.

研究の動機と目的

• 協調的マルチエージェントシステムにおける組み合わせ的一般化（CG）を形式化・分析すること。ここでの目的は、エージェントが新しいチーム編成やサイズに一般化できることである。
• 既存のMARL手法に理論的保証が欠如している問題に対処すること。これらはしばしば新しいチーム設定に対して再訓練を要する。
• エージェントの能力に線形的・リプシッツ連続的・任意の依存関係がある場合の一般化境界を提供すること。
• チーム編成における構造的変化に対してロバストで、サンプル効率の高いMARLアルゴリズムの設計原則を同定すること。
• 特にStarCraft IIのミクロマネジメントタスクを対象として、MARLベンチマークを用いて理論的知見を実証的に検証すること。

提案手法

• 環境ダイナミクスをエージェント能力に線形的に依存するとモデル化し、Successor Featuresフレームワークをマルチエージェント設定に一般化する。
• ポリシー移転、価値のずれ、能力推定誤差に起因するパフォーマンスギャップの理論的境界を導出する。
• 近似解析を用いて、リプシッツ連続的報酬関数および任意の報酬依存関係へ境界を拡張する。
• マルチエージェント強化学習（MARL）における、チーム編成やサイズにわたる一般化の評価に、フレームワークを適用する。これは、下位のアルゴリズムの種別に依存しない。
• 共有ネットワークとワンホットエージェントIDを用いた分散型MARL設定を採用し、SMACタスクでQMIX、VDN、PPOベースラインを用いる。
• 評価時に観測に能力情報を取り入れることで、それが一般化性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 エージェント能力に線形的依存関係がある場合の協調的マルチエージェントシステムにおける、理論的一般化境界をどのように導出できるか？
• RQ2 能力推定誤差は、マルチエージェント設定における一般化性能にどの程度影響を及ぼすか？
• RQ3 線形依存関係からリプシッツ連続的および任意の報酬依存関係へ一般化境界をどのように拡張できるか？
• RQ4 明示的な能力観測は、未知のチーム編成への一般化を向上させる役割を果たすか？
• RQ5 理論的境界は、チームサイズや編成の変更に対しても一般化できるサンプル効率の高いMARLアルゴリズムの設計にどのように寄与できるか？

主な発見

• 線形ダイナミクス下では、最適ポリシーと価値がチーム編成にわたって良好に一般化され、パフォーマンスギャップが能力推定誤差によって上限づけられることを理論的境界が示している。
• 観測に明示的な能力情報を組み込むことで、特に未知のチーム設定において一般化性能が顕著に向上する。
• 能力推定誤差に起因するパフォーマンス劣化は定量的に境界づけられており、MARLにおける通信と推論のロバストネスの理論的基盤を提供する。
• 一般化境界はリプシッツ連続的報酬へ拡張可能であり、能力に滑らかな依存関係がある場合、安定した一般化が可能であることを示唆する。
• 任意の報酬依存関係に対しては、フレームワークが一般化が困難になる条件を同定し、構造的インダクティブバイアスの必要性を強調する。
• StarCraft IIにおける実証結果から、QMIXおよびPPOベースの手法が能力を観測可能である場合、多様なチーム編成にわたって一貫した勝率向上を示す。