[论文解读] A Study of AI Population Dynamics with Million-agent Reinforcement Learning

Yaodong Yang, Lantao Yu+5 more|arXiv (Cornell University)|Sep 13, 2017

Evolutionary Game Theory and Cooperation参考文献 13被引用 19

一句话总结

本文提出了一套大规模多智能体强化学习框架，通过模拟包含一百万智能体的捕食者-猎物生态系统，研究了涌现的集体动力学。通过采用重新设计的经验回放缓冲区的深度强化学习方法，研究发现自利智能体自发产生了类似洛特卡-沃尔泰拉模型的种群周期性波动和适应性群体行为——这些现象均可通过自组织理论加以解释——表明在人工智能种群中，宏观层面的秩序可在无外部控制的情况下自发形成。

ABSTRACT

We conduct an empirical study on discovering the ordered collective dynamics obtained by a population of intelligence agents, driven by million-agent reinforcement learning. Our intention is to put intelligent agents into a simulated natural context and verify if the principles developed in the real world could also be used in understanding an artificially-created intelligent population. To achieve this, we simulate a large-scale predator-prey world, where the laws of the world are designed by only the findings or logical equivalence that have been discovered in nature. We endow the agents with the intelligence based on deep reinforcement learning (DRL). In order to scale the population size up to millions agents, a large-scale DRL training platform with redesigned experience buffer is proposed. Our results show that the population dynamics of AI agents, driven only by each agent's individual self-interest, reveals an ordered pattern that is similar to the Lotka-Volterra model studied in population biology. We further discover the emergent behaviors of collective adaptations in studying how the agents' grouping behaviors will change with the environmental resources. Both of the two findings could be explained by the self-organization theory in nature.

研究动机与目标

• 探究自然自组织原理是否可解释人工创建的智能种群中的集体动力学。
• 将深度强化学习扩展至百万智能体规模，并在模拟的自然环境中研究宏观层面的行为。
• 检验有序种群动力学与适应性群体行为是否能从个体自利行为中自发涌现，而无需外部监督。
• 验证现实生物学中的发现（如洛特卡-沃尔泰拉模型）是否适用于由深度强化学习驱动的AI种群。

提出的方法

• 仅通过自然定律和逻辑等价关系，模拟了一个大规模捕食者-猎物世界以建模环境动力学。
• 为每个智能体配备深度Q网络（DQN），基于强化学习进行个体决策。
• 设计了一个大规模DRL训练平台，采用重新设计的经验回放缓冲区，以高效处理百万智能体的训练。
• 使用独立学习策略训练智能体，使每个智能体独立优化自身奖励，无需集中协调。
• 随时间监测种群层面的统计指标，如捕食者与猎物数量、群体比例及动态平衡状态。
• 通过交替喂食两种猎物（绵羊与兔子）来改变环境条件，以研究行为的适应性转变。

实验结果

研究问题

• RQ1 在通过深度强化学习训练的百万智能体群体中，能否涌现出自组织的、有序的宏观动力学？
• RQ2 所得到的种群动力学是否与生物生态系统中观察到的洛特卡-沃尔泰拉模型相似？
• RQ3 当环境资源可用性发生变化时，群体行为（如群体捕食）如何适应？
• RQ4 自组织理论是否能够解释在无外部控制条件下AI种群中复杂而稳定模式的涌现？

主要发现

• AI种群表现出与洛特卡-沃尔泰拉模型高度吻合的种群动力学，表现为捕食者与猎物种群的周期性波动。
• 当交替喂食兔子后，群体捕食者的比例显著下降；喂食绵羊后则迅速上升，表明存在集体适应性行为。
• 响应资源变化而出现的群体行为自发涌现，未经过显式协调或外部信号引导。
• 种群周期性波动与适应性群体行为均与自组织理论的预测一致，尽管智能体仅基于个体自利行为行动。
• 结果表明，宏观层面的秩序可从人工智能系统中的局部交互中自发形成，与自然现象相一致。