[论文解读] Compositional properties of emergent languages in deep learning

Bence Keresztury, Elia Bruni|arXiv (Cornell University)|Jan 23, 2020

Language and cultural evolution参考文献 15被引用 4

一句话总结

本文通过测试系统性泛化和表征解耦性，研究了多智能体深度强化学习中涌现语言的组合性质。在包含未见过的对象组合的视觉问答任务中，研究发现智能体无法超越训练分布进行泛化，且未编码抽象的、组合性的表征——而是依赖于数据集特定的规律性，表明尽管看似实现了通信成功，其组合推理能力仍有限。

ABSTRACT

Recent findings in multi-agent deep learning systems point towards the emergence of compositional languages. These claims are often made without exact analysis or testing of the language. In this work, we analyze the emergent language resulting from two different cooperative multi-agent game with more exact measures for compositionality. Our findings suggest that solutions found by deep learning models are often lacking the ability to reason on an abstract level therefore failing to generalize the learned knowledge to out of the training distribution examples. Strategies for testing compositional capacities and emergence of human-level concepts are discussed.

研究动机与目标

• 严格测试多智能体深度学习系统中涌现语言是否表现出真正的组合泛化能力。
• 评估智能体是否学习了抽象的、类人的概念，还是仅利用了数据集特定的规律性。
• 评估网络中学习到的消息和激活表征的表征结构，以寻找解耦的、可重用知识的证据。
• 通过引入系统性诊断测试，挑战基于视觉检查或人工标注得出的组合性主张。
• 倡导在涌现语言研究中采用更稳健的度量标准和分布外泛化基准。

提出的方法

• 本研究使用视觉问答任务（SQOOP），通过未见过的对象和关系组合来测试系统性泛化。
• 使用余弦距离相关性度量视觉、发送者和接收者表征之间的表征相似性。
• 训练诊断分类器以分析消息嵌入中是否能恢复字符身份，从而检验通信是否具有组合结构。
• 通过在每张图像中包含1至5个字符的不同数量，评估组合性的可扩展性。
• 计算拓扑相似性分数，以评估不同智能体和网络层之间表征空间的一致性。
• 通过评估在训练期间未出现过的对象-关系组合的性能，测试分布外泛化能力。

实验结果

研究问题

• RQ1 涌现语言在多大程度上能泛化到已知对象和关系的未见过组合？
• RQ2 智能体是否在其消息中编码了对单个字符的解耦、抽象表征？
• RQ3 发送者和接收者网络中的表征与视觉输入以及彼此之间的一致性如何？
• RQ4 诊断分类器能否从消息嵌入中重建字符身份，表明其具有组合结构？
• RQ5 离散通信瓶颈的存在是否增强或阻碍了系统性泛化？

主要发现

• 智能体无法泛化到对象和关系的分布外组合，表明系统性泛化能力差。
• 诊断分类器无法从消息嵌入中恢复字符身份，表明消息未编码解耦的、组合性的特征。
• 表征相似性分数显示，发送者和接收者表征仅部分对齐，且视觉输入与接收者表征之间的错位随网络深度增加。
• 在5字符条件下表征对齐度最高，表明智能体可能更关注低级特征而非抽象概念。
• 视觉表征也未能完全捕捉图像的高层概念属性，限制了抽象语言的出现。
• 结果表明，涌现通信往往依赖于数据集特定的规律性，而非学习可重用的、组合性的规则。