[论文解读] Ease-of-Teaching and Language Structure from Emergent Communication

Fushan Li, Michael Bowling|arXiv (Cornell University)|Jun 6, 2019

Language and cultural evolutionSocial Sciences参考文献 30被引用 17

一句话总结

本文提出了一种新颖的训练策略，通过周期性重置听众以制造突然的环境压力，使语言更易于教学，从而增强涌现通信。通过强制智能体与新听众重新通信，该方法促使语言更具结构性、组合性且更易教学——尤其当重置为同步而非交错时，语言可学习性和拓扑相似性均有显著提升。

ABSTRACT

Artificial agents have been shown to learn to communicate when needed to complete a cooperative task. Some level of language structure (e.g., compositionality) has been found in the learned communication protocols. This observed structure is often the result of specific environmental pressures during training. By introducing new agents periodically to replace old ones, sequentially and within a population, we explore such a new pressure -- ease of teaching -- and show its impact on the structure of the resulting language.

研究动机与目标

• 探究教学简易性是否可作为多智能体强化学习中塑造涌现通信协议的设计原则。
• 考察环境压力——特别是需要向新听众教学的需求——如何促进组合性与结构化语言的涌现。
• 比较同步与交错重置听众对语言可学习性与结构特性的影响。
• 评估由于训练突变导致的策略熵增加，是否能促进更易教学与结构化的通信。

提出的方法

• 采用参照游戏设置，说话者使用固定长度的消息向听众传达目标对象，听众需从五个候选对象中选择正确的一个。
• 说话者的策略通过带熵正则化项的强化学习进行训练，以鼓励探索与适应性。
• 定期向训练群体中引入新听众，以模拟动态教学环境，重置方式为同步或交错。
• 训练制度包含1、2和10名听众的群体规模，同时监测成功率与熵动态变化。
• 通过迁移学习协议衡量新听众学习语言的速度，评估教学简易性。
• 使用拓扑相似性（topographic similarity）量化语言结构，该指标衡量涌现通信中的组合性结构。

实验结果

研究问题

• RQ1 周期性引入新听众是否会导致涌现语言更易于教学？
• RQ2 听众引入的时间安排（同步 vs. 交错）如何影响语言结构与可学习性？
• RQ3 由听众重置引发的突然环境变化在多大程度上增加策略熵并促进组合性语言的出现？
• RQ4 教学新智能体的压力是否能导致更结构化且可压缩的通信协议？
• RQ5 大规模群体是否有利于语言可学习性，还是会稀释教学压力？

主要发现

• 所有听众同步重置时，教学简易性与拓扑相似性均达到最高，表明语言更具结构性且更易学习。
• 与无重置训练相比，周期性重置训练的语言显著更易教学，且同步重置下的提升最为明显。
• 听众重置后，说话者策略的熵值急剧上升，尤其在小群体中，表明存在一种促使语言向可教学性重构的机制。
• 在较大群体（如N=10）中采用交错重置可平滑训练动态，但降低了对结构化语言涌现的压力，削弱了效果。
• 当训练目标无突然变化时——如在大规模群体中采用渐进式听众更替——更难出现可教学且结构化的语言。
• 即使在缺乏显式群体压力的情况下，无重置的大规模群体仍表现出适度的语言结构增强，但远低于重置制度下的提升。