[论文解读] Emergent Communication for Understanding Human Language Evolution: What's Missing?

Lukas Galke, Yoav Ram+1 more|arXiv (Cornell University)|Apr 22, 2022

Language and cultural evolution被引用 4

一句话总结

本文指出，神经智能体的涌现通信未能复现人类语言演化中的关键现象——易学性、泛化能力和群体规模效应——其原因在于缺乏类人认知与交际约束。本文提出，在神经模型中整合记忆限制与说话者-听者角色轮换，可恢复压缩压力，促进语言上合理的组合性。

ABSTRACT

Emergent communication protocols among humans and artificial neural network agents do not yet share the same properties and show some critical mismatches in results. We describe three important phenomena with respect to the emergence and benefits of compositionality: ease-of-learning, generalization, and group size effects (i.e., larger groups create more systematic languages). The latter two are not fully replicated with neural agents, which hinders the use of neural emergent communication for language evolution research. We argue that one possible reason for these mismatches is that key cognitive and communicative constraints of humans are not yet integrated. Specifically, in humans, memory constraints and the alternation between the roles of speaker and listener underlie the emergence of linguistic structure, yet these constraints are typically absent in neural simulations. We suggest that introducing such communicative and cognitive constraints would promote more linguistically plausible behaviors with neural agents.

研究动机与目标

• 识别人类与神经智能体在涌现通信中的关键差异，特别是组合结构的出现。
• 研究神经智能体为何无法复现人类语言演化中的三个关键现象：易学性、泛化能力与群体规模效应。
• 论证人类特有认知与交际约束的缺失——尤其是记忆限制与角色轮换——削弱了神经涌现通信的语言合理性。
• 提出在神经智能体中整合记忆限制与共享说话者-听者参数，可恢复压缩压力，实现更类人的语言演化。

提出的方法

• 将模型容量相对于消息空间（|A|^L）进行限制，以产生压缩压力，防止对独特信号的记忆化。
• 在单个神经智能体中实现说话者与听者角色之间的参数共享，以模拟类人角色轮换。
• 通过输入嵌入与输出层之间的权重绑定，强制同一网络中语言生成与理解的对称性。
• 引入参数共享以促进可重用子结构的出现，推动组合泛化。
• 通过逐步增加群体规模来建模群体动力学，检验在容量受限与角色轮换条件下组合结构是否能出现。
• 借鉴语言建模（如绑定嵌入）与迭代学习的原则，形式化所提出的约束。

实验结果

研究问题

• RQ1 尽管人类通信中群体规模效应表现稳健，为何神经智能体无法复现其在涌现通信中的群体规模效应？
• RQ2 在过参数化的神经网络中缺乏记忆限制，如何影响组合结构的出现？
• RQ3 说话者-听者角色轮换在多大程度上影响神经智能体中涌现语言的可学习性与泛化能力？
• RQ4 在单个智能体中，说话者与听者角色之间的参数共享在多大程度上能模拟人类语言处理中观察到的认知对称性？
• RQ5 为促进涌现通信中组合性而非记忆化的出现，模型容量需要施加何种约束？

主要发现

• 神经智能体可复现组合语言的易学性效应，但无法复现泛化能力与群体规模效应的优势。
• 在离散通信信道中，神经智能体无法一致复现群体规模效应——即更大群体发展出更系统的语言。
• 近期研究表明，群体异质性可在特定架构条件下部分恢复群体规模效应。
• 神经网络的过参数化使其能够记忆特定智能体的信号，从而有效消除压缩压力，削弱对组合性的需求。
• 记忆限制被证明在迭代学习与通信游戏中对诱导结构至关重要，因其可防止对独特信号的记忆化。
• 通过单个智能体中说话者与听者角色的参数共享实现角色轮换，可促进更符合语言学合理性的通信动态，与人类大脑机制相吻合。