[论文解读] Emergence of Grounded Compositional Language in Multi-Agent Populations

Igor Mordatch, Pieter Abbeel|arXiv (Cornell University)|Mar 15, 2017

Language and cultural evolution被引用 213

一句话总结

本论文表明，在一个物理现实环境中的多代理群体之间，可以出现 grounded、compositional 语言，通过具离散 Gumbel-Softmax 通信通道和词汇控制的端到端可微分多代理强化学习学习得到。

ABSTRACT

By capturing statistical patterns in large corpora, machine learning has enabled significant advances in natural language processing, including in machine translation, question answering, and sentiment analysis. However, for agents to intelligently interact with humans, simply capturing the statistical patterns is insufficient. In this paper we investigate if, and how, grounded compositional language can emerge as a means to achieve goals in multi-agent populations. Towards this end, we propose a multi-agent learning environment and learning methods that bring about emergence of a basic compositional language. This language is represented as streams of abstract discrete symbols uttered by agents over time, but nonetheless has a coherent structure that possesses a defined vocabulary and syntax. We also observe emergence of non-verbal communication such as pointing and guiding when language communication is unavailable.

研究动机与目标

• 在多代理、物理情境下演示具 grounding 的组合法语言的涌现。
• 展示代理在没有人类数据或预定义含义的条件下，发展出连贯的词汇和句法。
• 探讨环境变化和词汇约束如何影响语言结构及协同。

提出的方法

• 在一个连续的二维空间中，使用包含 N 个代理和 M 个地标的合作部分可观测马尔可夫博弈。
• 将通信表示为来自共享符号词汇的离散符号，随时间发出。
• 使用可微分动力学的时序误差传播端到端地为所有代理训练相同策略。
• 采用 Gumbel-Softmax 松弛，以实现离散通信符号的可微分采样。
• 引入辅助目标预测奖励，以鼓励清晰的目标沟通信号。
• 用基于 Dirichlet Process 的目标来惩罚过大词汇表，以促进组成性。

实验结果

研究问题

• RQ1 在没有人类语言数据的情况下，物理环境中的交互是否能产生具 grounding 的组合法语言？
• RQ2 哪些环境因素和词汇约束能够促进新兴语言的组合法结构？
• RQ3 新兴语言与在不同群体规模和配置下的协作策略及任务成功之间有何关系？
• RQ4 在通信通道受限时，哪些非语言沟通策略可以陪伴或替代语言？

主要发现

• 出现了一个组合法、可解释的符号词汇，与地标和动作映射，其结构受环境影响。
• 词汇表大小惩罚以及多样的任务配置促使组合法语言出现，而非整体的、非组合法语言。
• 代理在有通信时比无通信时获得显著更高的任务奖励（训练：-0.919 对 -0.332；测试：-0.920 对 -0.392）。
• 新兴语言体现物理中的 grounding，通常在行动之前就会发出言语（例如，GOTO 在移动前发出）。
• 当语言不可用时，出现了非语言策略（指示、基于凝视的信号，甚至推动），展示多模态协作。
• 系统通过重用组合法概念，对未见过的配置（如不同数量的地标或代理）具有泛化能力。