[论文解读] Emergence of Compositional Language with Deep Generational Transmission

Michael Cogswell, Jiasen Lu+3 more|arXiv (Cornell University)|Apr 19, 2019

Language and cultural evolution参考文献 47被引用 36

一句话总结

本文表明神经对话代理的定期替换（世代传递）会诱发文化传播，并在涌现语言中产生更强的组合泛化。

ABSTRACT

Recent work has studied the emergence of language among deep reinforcement learning agents that must collaborate to solve a task. Of particular interest are the factors that cause language to be compositional -- i.e., express meaning by combining words which themselves have meaning. Evolutionary linguists have found that in addition to structural priors like those already studied in deep learning, the dynamics of transmitting language from generation to generation contribute significantly to the emergence of compositionality. In this paper, we introduce these cultural evolutionary dynamics into language emergence by periodically replacing agents in a population to create a knowledge gap, implicitly inducing cultural transmission of language. We show that this implicit cultural transmission encourages the resulting languages to exhibit better compositional generalization.

研究动机与目标

• 以定期的代理替换来激发语言进化为动机并建模文化传播。
• 展示代际动态促使具表达性且可压缩的语言，以实现组合性。
• 评估替换是否带来对组合性新颖属性组合的更好泛化。

提出的方法

• 将协作型 Task & Talk 对话游戏扩展为包含Q-bot和A-bot的人群。
• 引入定期重新初始化（代理替换）以模拟文化传播。
• 在多智能体设置中使用策略梯度训练并比较替换策略（均匀随机、epsilon-greedy、最老）。
• 使用过完备和记忆设置，在新对、新实例数据集上测试组合泛化。
• 通过在标记分布之间的KL散度衡量各代理间的语言相似性，以证据文化传播。
• 可视化涌现语言以说明代理通信中的组合结构。

实验结果

研究问题

• RQ1 定期代理替换是否会在神经对话代理中引发文化传播？
• RQ2 与没有传播的基线相比，隐性文化传播是否提高组合泛化？
• RQ3 不同的替换策略如何影响语言的组合性和学习效率？
• RQ4 涌现语言是否具有组合性并且从定性可视化中可解释？
• RQ5 记忆容量和词汇量如何与世代传递相互作用影响结果？

主要发现

• 通过定期替换的文化传播提高组合泛化，在更难数据集的最佳配置下测试准确率提升至高达46%。
• 带替换的多智能体群体在代理之间的语言更相似，表明存在传播。
• 在各种词汇和记忆设置下，替换策略始终优于无替换基线。
• 无记忆或小词汇配置显示出最强的组合性提升，与语言涌现的前期工作一致。
• 语言可视化显示涌现的标记映射到解耦的形状和颜色属性，证明了组合结构。