[论文解读] BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop.

Maxime Chevalier-Boisvert, Dzmitry Bahdanau+5 more|arXiv (Cornell University)|Oct 18, 2018

Natural Language Processing Techniques被引用 89

一句话总结

BabyAI 引入了一个可扩展的、交互式的平台，包含19个逐步复杂的任务层级，用于研究人机协同的具身语言学习。该研究表明，即使有来自人类的监督，当前的深度学习方法在获取组合性语言技能方面仍缺乏足够的样本效率。

ABSTRACT

Allowing humans to interactively train artificial agents to understand language instructions is desirable for both practical and scientific reasons, but given the poor data efficiency of the current learning methods, this goal may require substantial research efforts. Here, we introduce the BabyAI research platform to support investigations towards including humans in the loop for grounded language learning. The BabyAI platform comprises an extensible suite of 19 levels of increasing difficulty. The levels gradually lead the agent towards acquiring a combinatorially rich synthetic language which is a proper subset of English. The platform also provides a heuristic expert agent for the purpose of simulating a human teacher. We report baseline results and estimate the amount of human involvement that would be required to train a neural network-based agent on some of the BabyAI levels. We put forward strong evidence that current deep learning methods are not yet sufficiently sample efficient when it comes to learning a language with compositional properties.

研究动机与目标

• 开发一个支持在具身语言理解中进行交互式、人机引导训练的研究平台。
• 探究使用人类提供的示范和修正来训练神经代理的可行性与样本效率。
• 通过启发式专家代理建模并模拟人类教学行为，以实现可扩展的实验。
• 评估在日益复杂的语言任务上训练代理所需的人机参与程度。
• 评估当前深度学习方法在通过交互式学习获取组合性语言方面的局限性。

提出的方法

• 该平台包含19个复杂度逐步提升的层级，每个层级要求代理在网格世界环境中遵循自然语言指令。
• 每个层级引入新的语言结构和环境动态，以逐步构建组合性语言理解能力。
• 启发式专家代理通过在训练期间提供最优动作和反馈，模拟人类教师的行为。
• 使用人类提供的示范，通过模仿学习和强化学习训练基于神经网络的代理。
• 该平台支持监督学习和交互式学习范式，可评估样本效率。
• 语言指令为合成生成，但结构化设计以反映自然语言的组合性特征，构成英语的一个真子集。

实验结果

研究问题

• RQ1 在模拟环境中，训练神经代理以遵循日益复杂的语言指令，需要多少程度的人机交互？
• RQ2 当前的深度学习模型在人机协同监督下，能在多大程度上实现组合性语言的样本高效学习？
• RQ3 在任务复杂度逐步提升的情况下，使用人类示范训练的神经代理性能与启发式专家代理相比如何？
• RQ4 该平台能否有效模拟人类教学行为，以支持交互式学习方法的可扩展评估？
• RQ5 在使用深度学习学习组合性语言时，样本效率的主要瓶颈是什么？

主要发现

• 当前的深度学习方法在学习组合性语言时表现出极差的样本效率，需要大量的人机交互才能达到可靠的性能。
• 即使可以访问启发式专家代理，训练代理完成高层级任务所需的示范数量也远超实际部署的可行范围。
• 该平台成功模拟了人类教学行为，使得交互式学习方法的可重复、可扩展评估成为可能。
• 基线结果表明，代理在泛化能力上表现不佳，尤其在需要组合性推理的任务上。
• 在最复杂的层级上训练代理所需的人机参与程度已超出现实应用中的可行性。
• 本研究提供了强有力的实证证据，表明样本效率仍是人机协同具身语言学习中的关键障碍。