[论文解读] Emergent Multi-Agent Communication in the Deep Learning Era

Angeliki Lazaridou, Marco Baroni|arXiv (Cornell University)|Jun 3, 2020

Language and cultural evolution参考文献 107被引用 32

一句话总结

这篇论文综述深度学习代理在合作与竞争环境中如何发展涌现式通信，分析如何研究和解读这些语言，并探讨改进AI协调与人机交互的途径。

ABSTRACT

The ability to cooperate through language is a defining feature of humans. As the perceptual, motory and planning capabilities of deep artificial networks increase, researchers are studying whether they also can develop a shared language to interact. From a scientific perspective, understanding the conditions under which language evolves in communities of deep agents and its emergent features can shed light on human language evolution. From an applied perspective, endowing deep networks with the ability to solve problems interactively by communicating with each other and with us should make them more flexible and useful in everyday life. This article surveys representative recent language emergence studies from both of these two angles.

研究动机与目标

• 激发对语言涌现的研究，作为理解人类语言演化和创建灵活、交互式AI的途径。
• 回顾从简单的指称游戏到具有丰富感知信息的复杂环境中深度代理的演变。
• 讨论用于解码涌现协议和评估真实通信的分析方法。
• 探索涌现通信如何提升代理间协调并实现更好的人机交互。

提出的方法

• 描述连续与离散通信及其对学习和反向传播的影响。
• 总结使用指称游戏、多轮交互和具体现身的3D环境的典型研究。
• 评审用于信号传递、倾听和因果影响的分析指标，以建立真正的通信。
• 讨论组成性度量及其与表征的泛化和解缠结的关系。
• 概述通过监督式地面化、迭代学习和预训练模型将涌现语言与自然语言对齐的方法。

实验结果

研究问题

• RQ1 在何种条件下，深度代理群体会发展具有真实信息内容的通信协议？
• RQ2 我们如何量化并验证涌现语言中的真实通信与退化策略？
• RQ3 哪些因素促进涌现协议的组成性和泛化？
• RQ4 如何利用涌现通信来改善代理之间的协调与人机协作？

主要发现

• 涌现语言通常依赖离散瓶颈，可能偏离人类语义，需要进行仔细分析以证实有意义的通信。
• 连续通信通常提高协作，而离散通道在复杂环境中如果没有专门训练可能表现较差。
• 涌现语言的组成性并非有待必然，可能在特定偏置、表示或群体动态下出现。
• 人机交互受益于将涌现语言与自然语言或监督绑定，以减少语言漂移并提高可解释性。
• 通过引入社会或合作激励以及有据可依的通信目标，可以加强代理间协调和务实偏好。
• 当人类与机器以基于自然语言的便宜谈话进行交互时，相比非语言通信，协调有所提升。