[论文解读] How agents see things: On visual representations in an emergent language game

Diane Bouchacourt, Marco Baroni|arXiv (Cornell University)|Aug 31, 2018

Language and cultural evolution参考文献 13被引用 8

一句话总结

本文研究了在使用真实图像的涌现语言游戏中，人工智能代理如何发展视觉表征。尽管通信成功，代理仍依赖于低层次的、关系性的图像特征，而非概念性的物体属性，因为即使在关于随机噪声的通信中也能取得高绩效，表明其视觉表征缺乏类人的语义基础。

ABSTRACT

There is growing interest in the language developed by agents interacting in emergent-communication settings. Earlier studies have focused on the agents' symbol usage, rather than on their representation of visual input. In this paper, we consider the referential games of Lazaridou et al. (2017) and investigate the representations the agents develop during their evolving interaction. We find that the agents establish successful communication by inducing visual representations that almost perfectly align with each other, but, surprisingly, do not capture the conceptual properties of the objects depicted in the input images. We conclude that, if we are interested in developing language-like communication systems, we must pay more attention to the visual semantics agents associate to the symbols they use.

研究动机与目标

• 研究代理在涌现语言游戏中如何表征视觉输入，超越符号使用，考察其底层视觉表征。
• 确定代理是否发展出与人类可识别物体属性一致的概念级视觉表征。
• 评估参照游戏中的成功通信是否意味着视觉输入中存在有意义的语义基础。
• 评估代理的表征是否仍忠实于感知输入，还是趋向于任意的关系性区分。

提出的方法

• 使用预训练的VGG-16网络从ImageNet图像中提取4096维图像特征，重新实现Lazaridou等人（2017）的发送者-接收者架构。
• 使用REINFORCE策略梯度强化学习训练代理，以优化两种变体中的通信成功率：同图游戏与异图游戏。
• 使用100个符号的离散词汇表，并在保留的测试集上评估性能，包括真实图像对和随机噪声向量对。
• 计算交叉验证的性能指标，包括平均奖励和输入互换时的符号稳定性。
• 使用z标准化的余弦相似度，测量输入空间、发送者空间和接收者空间中图像对之间的表征相似性。
• 在噪声输入上测试通信的鲁棒性，以评估代理是否依赖于概念性特征或感知性特征。

实验结果

研究问题

• RQ1 在涌现语言游戏中，代理是否发展出捕捉所描绘物体概念性属性的视觉表征？
• RQ2 代理的内部表征在发送者与接收者之间在多大程度上对齐？它们与输入表征有何不同？
• RQ3 代理能否成功地就缺乏任何语义内容的输入（如随机噪声）进行通信？
• RQ4 通信策略是基于绝对图像特征，还是基于输入之间的相对比较？
• RQ5 该游戏设置是否促进了稳定、概念性基础明确的词义的出现？

主要发现

• 在同图和异图游戏中训练的代理在噪声输入对上的平均奖励均超过95%，表明其在无概念性内容的情况下仍能实现通信。
• 在噪声上的表现与真实图像上的表现相当（同图游戏中分别为95%与100%），表明代理对语义内容不敏感。
• 尽管通信成功率高，发送者与接收者空间中的视觉表征并未保留概念相似性——同一概念的图像在代理空间中彼此分离（输入空间中的平均相似度为1.07，代理空间中为1.94）。
• 在发送者空间中，同类图像的相似性有所提高（输入空间中为0.61，发送者空间中为0.75），表明部分结构被保留，但并非概念性结构。
• 超过99%的噪声对在目标互换时触发了最高概率符号的变化，证实代理依赖于相对比较，而非绝对特征。
• 代理建立了一个共享且稳定的通信系统，该系统并不对应于人类水平的物体概念，而是基于任意关系性区分形成了一种‘概念契约’。