[论文解读] Quasi-Equivalence Discovery for Zero-Shot Emergent Communication

Kalesha Bullard, Douwe Kiela+3 more|arXiv (Cornell University)|Mar 14, 2021

Reinforcement Learning in Robotics参考文献 35被引用 6

一句话总结

本文提出最优策略（OP）学习，通过在目标与动作等价类之间最大化互信息，同时最小化通信成本和发送方策略差异，实现多智能体系统中的零样本涌现通信。该方法通过诱导灵活且成本敏感的通信协议，实现跨新型智能体对的稳健零样本协调。

ABSTRACT

Effective communication is an important skill for enabling information exchange in multi-agent settings and emergent communication is now a vibrant field of research, with common settings involving discrete cheap-talk channels. Since, by definition, these settings involve arbitrary encoding of information, typically they do not allow for the learned protocols to generalize beyond training partners. In contrast, in this work, we present a novel problem setting and the Quasi-Equivalence Discovery (QED) algorithm that allows for zero-shot coordination (ZSC), i.e., discovering protocols that can generalize to independently trained agents. Real world problem settings often contain costly communication channels, e.g., robots have to physically move their limbs, and a non-uniform distribution over intents. We show that these two factors lead to unique optimal ZSC policies in referential games, where agents use the energy cost of the messages to communicate intent. Other-Play was recently introduced for learning optimal ZSC policies, but requires prior access to the symmetries of the problem. Instead, QED can iteratively discovers the symmetries in this setting and converges to the optimal ZSC policy.

研究动机与目标

• 为解决在训练期间未见过的新伙伴情况下，智能体必须与之有效通信的零样本协调挑战。
• 通过引入考虑动作等价类的策略目标，提升通信鲁棒性，实现灵活但一致的协议。
• 将代价高昂的通信信道约束融入通信学习过程，确保即使在独立训练的情况下，也能实现低代价、高效的信号传递。
• 形式化描述涌现通信协议在实现高互信息与零样本泛化时的条件。
• 证明共同知识约束（如非均匀意图分布和代价惩罚）可在能量简并等复杂任务中，实现稳定且可泛化的协议。

提出的方法

• OP目标通过在接收方策略上施加群作用（ϕ）对所有可能的策略排列最大化期望联合性能：π*OP = argmaxπ Eϕ∼Φ[J(π¹, ϕ(π²))]。
• 该方法利用詹森不等式推导出目标的下界，实现可 tractable 的优化，平衡互信息与成本。
• 推导出的目标包含三个部分：(1) 目标与动作等价类之间的互信息 I(G; Φ(a))，(2) 均匀动作分布与发送方策略之间的交叉熵正则化，(3) 动作成本最小化。
• 该方法将通信建模为代价高昂的参照任务，仅发送方动作产生成本，接收方准确率通过条件预测进行优化。
• 在表格设置中进行评估，采用精确计算，并使用自定义Colab笔记本以确保可复现性与社区教育。
• 理论推导表明，OP诱导的协议中，多个等价动作映射到同一目标，增强了在零样本设置中对策略变化的鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种通信目标，在训练期间无需伙伴之间直接交互，即可促进零样本协调？
• RQ2 通过群作用ϕ引入的动作等价类如何提升涌现通信协议的鲁棒性？
• RQ3 代价高昂的通信信道在塑造涌现通信的结构与泛化性方面发挥何种作用？
• RQ4 非均匀意图分布与能量惩罚等共同知识约束在多大程度上提升了协议的稳定性和零样本性能？
• RQ5 最大化目标与动作等价类之间互信息是否能带来比标准策略优化更高效、更具泛化能力的通信？

主要发现

• OP目标成功诱导出可泛化至新型智能体对的通信协议，在不同训练伙伴下均实现了稳定的零样本协调性能。
• 在代价高昂的信道设置下，该方法在保持高接收方准确率的同时降低了通信成本，如推导目标中显式最小化 E[C(a)] 所示。
• 结合基于能量的潜在结构（如能量简并）与代价高昂信道，相比仅使用非均匀意图分布，能产生更鲁棒的协议。
• 与SP基线相比，后者在新伙伴上无法泛化，而OP方法即使在独立训练下仍能保持强大的零样本性能。
• 理论推导证实，OP目标最大化了目标与动作等价类之间的互信息，实现了灵活但一致的通信。
• 消融研究显示，若无代价高昂信道，发送方策略会坍缩为动作上的均匀分布，严重降低零样本设置下的接收方性能。