[论文解读] A game-theoretic analysis of networked system control for common-pool resource management using multi-agent reinforcement learning

Arnu Pretorius, Scott Cameron+7 more|arXiv (Cornell University)|Oct 15, 2020

Evolutionary Game Theory and Cooperation参考文献 42被引用 5

一句话总结

本文应用经验博弈论分析（EGTA）评估网络化多智能体强化学习（MARL）系统中不同信息结构对共有资源（CPR）管理中均衡结果的影响。结果表明，仅NeurComm实现了个体与系统整体最优结果一致的稳定高效均衡，凸显了可微分通信在实现超越单纯性能指标的社会理想结果中的关键作用。

ABSTRACT

Multi-agent reinforcement learning has recently shown great promise as an approach to networked system control. Arguably, one of the most difficult and important tasks for which large scale networked system control is applicable is common-pool resource management. Crucial common-pool resources include arable land, fresh water, wetlands, wildlife, fish stock, forests and the atmosphere, of which proper management is related to some of society's greatest challenges such as food security, inequality and climate change. Here we take inspiration from a recent research program investigating the game-theoretic incentives of humans in social dilemma situations such as the well-known tragedy of the commons. However, instead of focusing on biologically evolved human-like agents, our concern is rather to better understand the learning and operating behaviour of engineered networked systems comprising general-purpose reinforcement learning agents, subject only to nonbiological constraints such as memory, computation and communication bandwidth. Harnessing tools from empirical game-theoretic analysis, we analyse the differences in resulting solution concepts that stem from employing different information structures in the design of networked multi-agent systems. These information structures pertain to the type of information shared between agents as well as the employed communication protocol and network topology. Our analysis contributes new insights into the consequences associated with certain design choices and provides an additional dimension of comparison between systems beyond efficiency, robustness, scalability and mean control performance.

研究动机与目标

• 理解网络化MARL系统中的信息结构如何影响共有资源（CPR）管理中涌现的博弈论解概念。
• 评估MARL系统是否收敛到不仅高效，而且公平且可持续的均衡。
• 超越传统性能指标，引入博弈论分析作为评估安全关键应用中MARL系统行为的关键视角。
• 证明系统设计选择——尤其是通信协议——直接影响所学均衡的稳定性和公平性。

提出的方法

• 应用经验博弈论分析（EGTA）以分析MARL系统在CPR管理中所学均衡的特性。
• 研究评估了多种具有不同信息结构的MARL算法，包括通信协议（如DIAL、CommNet、NeurComm）和网络拓扑。
• 通过社会性度量评估均衡的稳定性和效率：功利主义（群体收益）、公平性（分配公平性）和可持续性（资源再生率）。
• 分析识别均衡是否具有自实施性（SSD），以及个体激励是否与系统整体最优一致。
• 简化版CPR环境模拟了具有共享访问和收益递减特征的可再生资源开采，以模拟现实世界中的困境，如过度捕捞或水资源短缺。
• 在相同环境条件下比较算法，以隔离信息结构对涌现行为的影响。

实验结果

研究问题

• RQ1 在面向CPR管理的网络化MARL系统中，不同信息结构会涌现出何种博弈论解概念？
• RQ2 不同通信协议在多大程度上影响所学均衡的稳定性和效率？
• RQ3 MARL系统在多大程度上收敛到既符合个体理性又符合集体最优的均衡？
• RQ4 我们能否识别出在社会困境场景中实现稳定、公平且可持续结果的系统设计？

主要发现

• NeurComm是唯一实现稳定均衡的算法，其个体激励与系统整体最优一致，经由负的SSD分数（C₃ < 0）确认。
• 尽管DIAL和CommNet实现了高性能，但其均衡因合作者与背叛者之间的收益分配不均而效率低下，尽管其均衡是稳定的。
• 所有非NeurComm算法均表现出SSD条件，表明即使整体性能较高，背叛行为仍具吸引力。
• 当所有智能体均合作时，NeurComm实现了最高的功利主义得分和可持续性水平，表明其卓越的协调能力。
• 即使在均衡博弈下，NeurComm的功利主义和可持续性度量仍保持领先，表明其对策略偏离具有鲁棒性。
• 本研究证明，通信协议设计是实现高效且公平结果的决定性因素，而不仅仅是高性能。