[论文解读] Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent Populations

Kalesha Bullard, Franziska Meier+3 more|arXiv (Cornell University)|Oct 29, 2020

Modular Robots and Swarm Intelligence被引用 6

一句话总结

本文研究了在基于连续、能量消耗高的联合轨迹而非符号化‘廉价对话’的具身多智能体系统中，零样本涌现通信的机制。通过利用普遍认知的能量成本与非均匀意图分布（如齐普夫分布），智能体学会将频繁意图映射到低能量动作，从而实现对新伙伴的泛化。关键贡献在于证明了潜在能量结构可实现零样本协调，在使用课程训练的10意图任务中，零样本准确率达到34%。

ABSTRACT

Effective communication is an important skill for enabling information exchange and cooperation in multi-agent settings. Indeed, emergent communication is now a vibrant field of research, with common settings involving discrete cheap-talk channels. One limitation of this setting is that it does not allow for the emergent protocols to generalize beyond the training partners. Furthermore, so far emergent communication has primarily focused on the use of symbolic channels. In this work, we extend this line of work to a new modality, by studying agents that learn to communicate via actuating their joints in a 3D environment. We show that under realistic assumptions, a non-uniform distribution of intents and a common-knowledge energy cost, these agents can find protocols that generalize to novel partners. We also explore and analyze specific difficulties associated with finding these solutions in practice. Finally, we propose and evaluate initial training improvements to address these challenges, involving both specific training curricula and providing the latent feature that can be coordinated on during training.

研究动机与目标

• 研究使用连续、物理基础的动作（关节轨迹）而非符号化通道的具身智能体中的涌现通信。
• 探究当通信基于能量消耗等物理成本时，是否可能实现零样本协调——即泛化到独立训练的新伙伴。
• 分析此类系统训练中的挑战，包括局部最优、潜在结构发现以及能量排序的组合优化问题。
• 评估训练改进方法（如基于能量的课程与潜在监督）对提升鲁棒性与泛化能力的效果。
• 证明普遍认知的环境约束（如能量成本）可作为具身系统中涌现零样本通信的协调信号。

提出的方法

• 智能体在3D模拟环境中训练，通过拟人化身体动作作为通信信号完成指代游戏。
• 通信被建模为连续动作序列（关节轨迹），能量成本通过动作过程中施加的总力矩计算。
• 使用齐普夫分布建模非均匀的意图频率，使更常见的意图优先映射到低能量动作。
• 在训练中引入潜在能量值，以引导发现共享的协调结构，提升泛化能力。
• 采用基于课程的预训练阶段，最小化所有意图的力矩，以稳定初始能量分布并减少优化过程中的重定位。
• 观察者智能体通过测试独立训练的发送者-接收者配对来评估零样本协调，测量在未见伙伴上的分类准确率。

实验结果

研究问题

• RQ1 当通信基于连续、能量消耗高的关节轨迹时，具身智能体的涌现通信协议是否能泛化到新训练的、独立训练的伙伴？
• RQ2 将通信基于普遍认知的环境成本（如能量）如何实现零样本协调，且无需符号化通道？
• RQ3 在连续、高维动作空间中，学习此类协议的主要训练挑战是什么？
• RQ4 基于课程的训练与潜在监督是否能改善对基于能量的共享协调结构的发现？
• RQ5 不同意图间能量排序的组合性质如何影响优化过程与收敛性？

主要发现

• 在10意图任务中，零样本协调准确率达到约34%，相当于最常见类别基线准确率。
• 仅使用轨迹输入进行训练时，优化过程中意图能量排名发生显著重排，尤其在低频意图（如4号和5号）中表现明显，表明系统不稳定。
• 在训练中引入潜在能量监督可稳定优化过程，减少意图能量层级的非预期重排。
• 基于力矩的课程预训练阶段显著提升了零样本泛化能力，尤其在最复杂任务（N=10）中，当观察者使用轨迹输入时效果更明显。
• 优化算法始终将最频繁意图（意图1）维持在最低能量成本，因为其错序成本极高。
• 结果证实，如能量成本等普遍认知的环境约束，可作为具身系统中涌现零样本通信的可行且鲁棒的协调信号。