[论文解读] Generalization in Cooperative Multi-Agent Systems

Anuj Mahajan, Mikayel Samvelyan+5 more|arXiv (Cornell University)|Jan 31, 2022

Evolutionary Algorithms and Applications被引用 6

一句话总结

本文在合作式多智能体系统中引入了组合泛化（Combinatorial Generalization, CG），提出了环境动态对智能体能力依赖为线性、Lipschitz连续及任意依赖关系时的泛化理论边界。该研究建立了策略迁移、价值偏差以及对能力估计误差鲁棒性的性能保证，表明通过合理设计，MARL算法可在不同团队构成与规模间实现泛化。

ABSTRACT

Collective intelligence is a fundamental trait shared by several species of living organisms. It has allowed them to thrive in the diverse environmental conditions that exist on our planet. From simple organisations in an ant colony to complex systems in human groups, collective intelligence is vital for solving complex survival tasks. As is commonly observed, such natural systems are flexible to changes in their structure. Specifically, they exhibit a high degree of generalization when the abilities or the total number of agents changes within a system. We term this phenomenon as Combinatorial Generalization (CG). CG is a highly desirable trait for autonomous systems as it can increase their utility and deployability across a wide range of applications. While recent works addressing specific aspects of CG have shown impressive results on complex domains, they provide no performance guarantees when generalizing towards novel situations. In this work, we shed light on the theoretical underpinnings of CG for cooperative multi-agent systems (MAS). Specifically, we study generalization bounds under a linear dependence of the underlying dynamics on the agent capabilities, which can be seen as a generalization of Successor Features to MAS. We then extend the results first for Lipschitz and then arbitrary dependence of rewards on team capabilities. Finally, empirical analysis on various domains using the framework of multi-agent reinforcement learning highlights important desiderata for multi-agent algorithms towards ensuring CG.

研究动机与目标

• 形式化并分析合作式多智能体系统中的组合泛化（CG），其中智能体能够泛化至新型团队构成与规模。
• 解决现有MARL方法缺乏理论保证的问题，这些方法通常在新团队配置下需要重新训练。
• 在环境动态对智能体能力呈现线性、Lipschitz连续及任意依赖关系的前提下，提供泛化边界。
• 识别MARL算法的设计原则，以确保在团队构成结构变化下具备鲁棒性与样本效率。
• 通过MARL基准测试，特别是StarCraft II微操作任务，实证验证理论洞见。

提出的方法

• 将环境动态建模为对智能体能力的线性依赖，将成功特征框架推广至多智能体设置。
• 推导出策略迁移、价值偏差以及因能力估计误差导致的性能差距的理论边界。
• 通过近似分析，将边界扩展至Lipschitz连续奖励函数及任意奖励依赖关系。
• 将该框架应用于评估MARL中跨团队构成与规模的泛化能力，且不依赖于底层算法类型。
• 采用去中心化的MARL设置，使用共享网络与独热编码的智能体ID，在SMAC任务上使用QMIX、VDN和PPO基线方法。
• 在评估中将能力信息作为观测的一部分引入，以评估其对泛化性能的影响。

实验结果

研究问题

• RQ1 在环境动态对智能体能力呈线性依赖的前提下，如何为合作式多智能体系统推导出理论泛化边界？
• RQ2 能力估计误差在多智能体设置中在多大程度上影响泛化性能？
• RQ3 泛化边界如何从线性关系扩展至Lipschitz连续及任意奖励依赖关系？
• RQ4 显式能力观测在提升对未见团队构成的泛化能力方面发挥何种作用？
• RQ5 理论边界能否指导设计出在团队规模与构成变化下具备样本效率的MARL算法？

主要发现

• 理论边界表明，在线性动态下，最优策略与价值可在不同团队构成间良好泛化，性能差距受能力估计误差的约束。
• 将显式能力信息纳入观测显著提升了泛化性能，尤其在未见团队配置下效果更明显。
• 因能力估计误差导致的性能退化被定量地边界化，为MARL中鲁棒通信与推理提供了理论基础。
• 泛化边界可扩展至Lipschitz连续奖励，表明对能力的平滑依赖关系有助于实现稳定泛化。
• 对于任意奖励依赖关系，该框架识别出泛化变得困难的条件，强调了结构化归纳偏置的必要性。
• 在StarCraft II上的实证结果表明，当能力可观测时，QMIX与基于PPO的方法泛化表现更优，在多样化团队构成中均展现出一致的胜率提升。