[论文解读] Low-Bandwidth Communication Emerges Naturally in Multi-Agent Learning Systems

Niko A. Grupen, Daniel D. Lee+1 more|arXiv (Cornell University)|Nov 30, 2020

Evolutionary Game Theory and Cooperation参考文献 38被引用 4

一句话总结

本文展示了在合作追逃任务中，多智能体强化学习（MARL）系统自然涌现出低带宽通信——例如通过运动规则实现的隐性协调。通过基于势场的捕食者策略与MARL算法，作者表明，智能体发展出高效、低复杂度的协调策略，其行为类似于动物觅食，且无需显式语言或高带宽信号。

ABSTRACT

In this work, we study emergent communication through the lens of cooperative multi-agent behavior in nature. Using insights from animal communication, we propose a spectrum from low-bandwidth (e.g. pheromone trails) to high-bandwidth (e.g. compositional language) communication that is based on the cognitive, perceptual, and behavioral capabilities of social agents. Through a series of experiments with pursuit-evasion games, we identify multi-agent reinforcement learning algorithms as a computational model for the low-bandwidth end of the communication spectrum.

研究动机与目标

• 理解低带宽通信如何通过动物通信的洞察在多智能体系统中自然产生。
• 探究多智能体强化学习（MARL）算法是否能催生出涌现的、低复杂度的通信策略。
• 在计算强化学习框架中建模自然界中的通信谱系——从信息素轨迹到声音信号。
• 评估MARL智能体是否发展出类似于自然界中低带宽互动规则的协调机制，例如狼群或海豚群体中观察到的行为。
• 证明高阶协调可无需显式语言或符号表示而自然涌现，仅依赖于感官运动反馈与奖励最大化。

提出的方法

• 作者在环形网格环境中设计了一个带有多个捕食者和一个猎物的追逃游戏。
• 捕食者使用基于势场的策略，根据猎物和捕食者的位置计算最优追击方向，其代价函数结合了距离与角度对齐因素。
• 通过在环面的展开副本上优化势场函数，以处理周期性边界条件，从而实现对可能捕食者配置的离散搜索。
• 系统选择使势场函数最大化的“活跃”捕食者集合，形成动态、对称的追击阵型。
• MARL智能体通过策略梯度方法进行训练，目标是捕获猎物并最小化捕获时间。
• 该方法采用基于梯度的更新规则，根据势场负梯度调整捕食者朝向，偏好对称且稳定的阵型。

实验结果

研究问题

• RQ1 多智能体强化学习系统是否能在无显式设计的情况下自然发展出低带宽通信策略？
• RQ2 MARL智能体在多大程度上复现了已知的动物觅食与驱赶行为，如狼群或海豚群体的行为？
• RQ3 物理与环境约束（如有限感知、离散动作空间）如何塑造合作智能体中通信的涌现？
• RQ4 MARL系统中若缺乏符号或组合语言，是否仍能实现有效协调行为？
• RQ5 在部分可观察环境中，仅通过奖励最大化，是否能从奖励最大化中涌现出隐性、非语言的协调机制（如交互规则）？

主要发现

• 在追逃任务中，MARL系统自然涌现出低带宽通信策略，如对称追击阵型和反应式位置调整。
• 捕食者学会协调其运动以维持群体凝聚力，即使在短暂远离猎物以重新定位时亦能避免群体瓦解。
• 基于势场的策略成功生成了稳定且对称的阵型，其行为与现实中狼群和海豚群体的驱赶行为高度相似。
• 所学行为在定性上与已记录的动物觅食策略相似，包括协同包抄与动态再定位。
• 尽管缺乏显式语言或符号通信，智能体仍能通过隐性、低带宽的互动规则实现高效协调，捕获率较高。
• 该方法在小规模智能体数量（N ≤ 3）和小展开因子（k = 1）下具有合理可扩展性，证明了建模涌现协调的可行性。