[论文解读] Mastering emergent language: learning to guide in simulated navigation

Mathijs Mul, Diane Bouchacourt+1 more|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 42被引用 6

一句话总结

该论文提出了一种基于引导者-学习者架构的框架，用于在多智能体导航任务中学习涌现语言，其中引导者生成简洁的2个词令牌消息，以指导学习者解决BabyAI级别的导航任务。通过训练引导者生成上下文相关的指导信息，该方法在GoToObjMaze任务上实现了高达98.4%的成功率，展示了在结构化环境中有效的零样本泛化能力与涌现通信。

ABSTRACT

To cooperate with humans effectively, virtual agents need to be able to understand and execute language instructions. A typical setup to achieve this is with a scripted teacher which guides a virtual agent using language instructions. However, such setup has clear limitations in scalability and, more importantly, it is not interactive. Here, we introduce an autonomous agent that uses discrete communication to interactively guide other agents to navigate and act on a simulated environment. The developed communication protocol is trainable, emergent and requires no additional supervision. The emergent language speeds up learning of new agents, it generalizes across incrementally more difficult tasks and, contrary to most other emergent languages, it is highly interpretable. We demonstrate how the emitted messages correlate with particular actions and observations, and how new agents become less dependent on this guidance as training progresses. By exploiting the correlations identified in our analysis, we manage to successfully address the agents in their own language.

研究动机与目标

• 研究智能体如何在结构化导航环境中通过涌现语言实现有效通信。
• 开发一种双智能体框架，其中引导者生成简短消息以指导学习者解决复杂的导航任务。
• 评估涌现通信在未见过环境和测试时分布下的零样本泛化效果。
• 分析在不同环境状态下所学指导消息的结构与语义特征。

提出的方法

• 采用两阶段训练流程：首先，引导者基于环境状态学习生成消息；其次，学习者基于接收到的消息学习行动策略。
• 引导者使用基于GRU的策略，从观测中生成2个词令牌的消息，词汇表大小为3。
• 学习者采用基于LSTM的策略，根据观测和接收到的指导消息选择动作。
• 系统通过监督学习进行端到端训练，使用动作序列的交叉熵损失函数。
• 超参数包括：256个CNN单元用于观测编码，2048个LSTM单元用于记忆，256个GRU单元用于指令处理。
• 实验在多个BabyAI层级上进行，包括GoToObj、GoToLocal、GoToObjMaze和PutNextLocal，涵盖不同规模的训练数据。

实验结果

研究问题

• RQ1 引导者智能体能否学习生成有效且简洁的指导消息，使学习者能够解决复杂的导航任务？
• RQ2 这种涌现通信在未见过的环境和测试时分布下的泛化能力如何？
• RQ3 在不同环境状态下，所学指导消息的结构与语义内容是怎样的？
• RQ4 学习者的性能如何随消息长度和不同指导策略而变化？

主要发现

• 在GoToObj任务中，引导者在发出特定消息如'w0 w0'后，动作选择概率接近1.0，表明消息与动作之间具有强烈的对齐性。
• 在GoToObjMaze层级，学习者实现了98.4%的成功率，证明其对未见过的迷宫具有有效的零样本泛化能力。
• 在PutNextLocal任务中，引导者的消息根据环境状态生成，导致高概率的动作选择，条形图显示了清晰的消息-动作依赖关系。
• 该系统在多个层级上表现出稳健性能，当使用足够数据训练时，GoToLocal和GoToObjMaze的成功率均超过90%。
• 图A.1–A.3中的条件分布证实，引导者学习到了语义上有意义且上下文恰当的消息生成能力。
• 该方法在极低监督条件下成功学习了涌现通信，仅使用2个词令牌消息，便在多样化的导航挑战中实现了高任务成功率。