[论文解读] Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

Angeliki Lazaridou, Karl Moritz Hermann+2 more|arXiv (Cornell University)|Apr 11, 2018

Language and cultural evolution被引用 40

一句话总结

本论文训练强化学习代理在指示性游戏中进行沟通，先使用符号输入，再使用像素输入，结果表明结构化输入促进更具组合性的语言，而原始像素输入在定位和结构出现方面带来挑战。

ABSTRACT

The ability of algorithms to evolve or learn (compositional) communication protocols has traditionally been studied in the language evolution literature through the use of emergent communication tasks. Here we scale up this research by using contemporary deep learning methods and by training reinforcement-learning neural network agents on referential communication games. We extend previous work, in which agents were trained in symbolic environments, by developing agents which are able to learn from raw pixel data, a more challenging and realistic input representation. We find that the degree of structure found in the input data affects the nature of the emerged protocols, and thereby corroborate the hypothesis that structured compositional language is most likely to emerge when agents perceive the world as being structured.

研究动机与目标

• 研究环境结构和输入表示如何影响在指示性游戏中的新兴通信。
• 将先前的符号输入研究扩展到原始像素输入，以评估语言出现的现实性和 grounding（落地性）。
• 在不同输入模式和任务设置下，检验组合性结构是否以及如何出现。

提出的方法

• 建立两名合作代理（说话者和听者），通过强化学习来最大化在指示性游戏中成功识别目标对象的概率。
• 将对象表示为二进制属性向量（符号、解耦）或原始像素图像（纠缠）。
• 说话者将目标编码为一个密集向量u，然后通过一个LSTM解码器，从字母表A中输出一个离散的、可变长度的消息m。
• 听者将候选对象编码为密集表示，并使用一个独立的LSTM将消息处理为z，然后通过基于 Gibbs 的指向模块选择目标。
• 使用 REINFORCE 联合优化所有权重，并包含一个熵正则化项以维持探索。
• 比较 performance、对新对象的泛化，以及意义空间与信号空间之间的地形相似性。

实验结果

研究问题

• RQ1 当代理在符号输入与像素输入的指示性游戏中端到端训练时，是否会出现通信协议？
• RQ2 输入结构（解耦属性 vs. 纠缠像素数据）如何影响组合性和泛化的出现？
• RQ3 干扰对象分布和上下文共现对学习到的语言及其结构有何影响？
• RQ4 来自像素输入的出现协议是否能在意义与信号之间呈现地形相似性？

主要发现

• 代理在符号输入和像素输入设置中都取得高通信成功率（在较长消息条件下，训练数据上约达到 98%）。
• 更长的最大消息长度会产生更大的词汇表，并在消息与概念之间形成更多的一对一映射，降低歧义。
• 在符号输入中，新生消息显示出正向的地形相似性，前缀编码类别信息（例如哺乳动物、车辆）。
• 在像素输入下，代理同样达到高准确率（如游戏A中93.7%），并表现出地形相似性，但协议趋于不稳定，且高度依赖游戏约束，有时会产生临时的命名约定。
• 解耦性被确认为促成更结构化语言的关键因素；当输入是纠缠的（像素数据）时，组织变异因子变得更困难，降低了组合性。
• 上下文干扰分布影响语言学习动力学和泛化程度，情境相关的干扰有时会延迟收敛，但可能降低由相似性驱动的混淆。
• 在基于像素的设置中，探测表明视觉表征会一致地编码位置信息，在不同游戏中对颜色和形状的预测能力各不相同。