[论文解读] Multi-Agent Cooperation and the Emergence of (Natural) Language

Angeliki Lazaridou, Alexander Peysakhovich+1 more|arXiv (Cornell University)|Dec 21, 2016

Language and cultural evolution被引用 122

一句话总结

论文研究两个神经代理在固定词汇表的指代游戏中如何学习沟通，并评估新兴符号是否与人类可理解的语义对齐，以及是否能够通过有监督语言任务进行落地。

ABSTRACT

The current mainstream approach to train natural language systems is to expose them to large amounts of text. This passive learning is problematic if we are interested in developing interactive machines, such as conversational agents. We propose a framework for language learning that relies on multi-agent communication. We study this learning in the context of referential games. In these games, a sender and a receiver see a pair of images. The sender is told one of them is the target and is allowed to send a message from a fixed, arbitrary vocabulary to the receiver. The receiver must rely on this message to identify the target. Thus, the agents develop their own language interactively out of the need to communicate. We show that two networks with simple configurations are able to learn to coordinate in the referential game. We further explore how to make changes to the game environment to cause the "word meanings" induced in the game to better reflect intuitive semantic properties of the images. In addition, we present a simple strategy for grounding the agents' code into natural language. Both of these are necessary steps towards developing machines that are able to communicate with humans productively.

研究动机与目标

• 通过多智能体协作来激发语言学习，而非被动的文本暴露。
• 展示从零开始的智能体能够开发出用于在指代任务中协调的通信协议。
• 研究新兴符号是否反映高层语义属性，而非低层视觉特征。
• 考察游戏结构的改变如何影响新兴语言的语义对齐。
• 通过有监督标注任务探索将新兴通信落地到自然语言。

提出的方法

• 两个简单的前馈神经网络（发送者和接收者）在有两个图像和固定词汇表的指代游戏中竞争。
• 发送者使用一个嵌入空间，将目标/干扰输入映射到固定词汇表中的一个符号，采用无偏或有信息的架构。
• 接收者利用符号和图像嵌入通过点积相似性推断目标，产生一个概率性选择。
• 通信瓶颈通过从符号的 Gibbs 分布采样来离散化消息（温度 tau）。
• 训练使用强化学习（REINFORCE），对正确识别目标给予奖励1，否则为0；进行32的微批次更新，在50k迭代中。

实验结果

研究问题

• RQ1 在提出的设置中，从零开始的智能体是否能够学习出成功的指代通信？
• RQ2 新兴符号是否获得类似人类语言的跨图像语义属性？
• RQ3 改变视觉输入或共同知识内容是否会促成更高层次的语义落地？
• RQ4 通过有监督语言任务的落地是否能使新兴符号与常规名称对齐？
• RQ5 在人类对落地后解读由代理生成的新兴语言的能力如何？

主要发现

• 代理达到高水平的通信成功，知情发送者通常比无偏发送者学习更快。
• 新兴语言在知情发送者下使用更多符号，暗示比仅仅同义更丰富的编码。
• 符号-对象关联的纯度高于随机，表明对对象类别具有半语义的落地。
• 即使在共同知识减少（目标为类别级）时，代理仍维持协调并在语义纯度上略有提升。
• 通过有监督标注实现落地扩大了符号的使用并提高可解释性，部分符号直接映射到有监督标签，并对非有监督图像具有更广泛的泛化。
• 人工评估显示在将词语与目标图像配对时的准确率为68%，显示出新兴语言的部分人类可解释性。