[论文解读] A Paradigm for Situated and Goal-Driven Language Learning

Jon Gauthier, Igor Mordatch|arXiv (Cornell University)|Oct 12, 2016

Speech and dialogue systems参考文献 16被引用 21

一句话总结

本文提出了一种情境化、目标驱动的语言学习范式，其中智能体通过在具身环境中与他人协作完成真实任务来学习语言，将语言理解视为实现目标的工具，而非孤立的语言任务。该方法在多智能体设置中使用强化学习，结合物理或虚拟环境，训练智能体以生产性方式使用语言，强调实际任务的成功而非语言指标。

ABSTRACT

A distinguishing property of human intelligence is the ability to flexibly use language in order to communicate complex ideas with other humans in a variety of contexts. Research in natural language dialogue should focus on designing communicative agents which can integrate themselves into these contexts and productively collaborate with humans. In this abstract, we propose a general situated language learning paradigm which is designed to bring about robust language agents able to cooperate productively with humans.

研究动机与目标

• 将关注点从孤立的语言任务转向以现实世界的目标达成作为语言理解的衡量标准。
• 通过将语言学习置于具有具体任务的物理或虚拟环境中，解决静态、以语言为中心的数据集的局限性。
• 设计一种学习框架，使语言成为协作的工具而非目的本身，利用强化学习与多智能体交互。
• 通过使用丰富、视觉化且具备物理仿真的环境，克服文本仅或信息损失的环境表示的不足。
• 通过情境化、基于任务的学习，促进开发出能够有效实现人机协作的鲁棒、可泛化的语言智能体。

提出的方法

• 该框架采用多智能体环境，其中智能体具有不同的目标、感官输入和动作能力，部分智能体使用固定语言（如英语或编程语言）。
• 智能体通过强化学习进行学习，优化目标达成而非语言准确性，将沟通作为实现目标的手段。
• 环境建立在具有物理特性和视觉感知的物理或仿真世界中，最大限度减少对基于文本的环境描述的依赖。
• 语言使用通过任务表现进行评估：通过沟通成功达成目标，而非语言流利度或语法正确性。
• 该范式支持人机协同训练与完全仿真的智能体，固定语言智能体可作为指导者，引导学习智能体完成协作任务。
• 系统通过将语言行为整合到更广泛的认知与感知过程中（包括物理预测、社会推理和信念建模），避免将语言实体化。

实验结果

研究问题

• RQ1 如何将语言理解重新定义为并非语言能力，而是实现现实世界任务成功的工具？
• RQ2 哪些环境与训练条件能够使智能体通过在目标导向任务中的协作有效学习语言？
• RQ3 与纯文本或抽象界面相比，将语言置于感知丰富、物理仿真的环境中，如何提升学习效果？
• RQ4 在多智能体设置中使用强化学习，在复杂动态环境中在多大程度上能产生有效使用语言的智能体？
• RQ5 构建一个可扩展、通用的语言学习环境的关键设计原则是什么，以同时支持语言习得与更广泛智能的发展？

主要发现

• 该范式成功地将关注点从语言指标转向现实世界任务表现，使语言理解成为协作的功能性结果。
• 在该环境中训练的智能体能够通过与其他智能体的沟通，有效使用语言达成目标，例如导航环境或操作物体。
• 通过视觉与物理环境的具身化，智能体能够感知关键环境细节（如不稳定的桌子），而这些细节可能被纯文本描述所忽略，从而提升决策质量。
• 使用固定语言智能体作为沟通伙伴，使学习智能体能够通过观察和模仿上下文中的功能性语言使用来习得语言。
• 该框架支持无需显式语言监督的可扩展、端到端语言智能体训练，仅依赖基于任务的奖励信号。
• 该方法表明，当语言学习嵌入更广泛的认知与感知系统（包括物理推理与社会推理）中时，学习效果最佳。