[论文解读] Listen, Interact and Talk: Learning to Speak via Interaction

Haichao Zhang, Haonan Yu+1 more|arXiv (Cornell University)|May 28, 2017

Speech and dialogue systems被引用 6

一句话总结

本文提出了一种交互式、具身化的语言学习框架，其中智能体通过结合模仿学习与强化学习，利用教师提供的自然语言反馈来学习语言表达。通过在对话中同时使用句子级监督与奖励信号，该模型在组合性与分布外设置下均实现了强大的零样本泛化能力与知识迁移能力，优于仅使用模仿学习或仅使用强化学习的基线模型。

ABSTRACT

One of the long-term goals of artificial intelligence is to build an agent that can communicate intelligently with human in natural language. Most existing work on natural language learning relies heavily on training over a pre-collected dataset with annotated labels, leading to an agent that essentially captures the statistics of the fixed external training data. As the training data is essentially a static snapshot representation of the knowledge from the annotator, the agent trained this way is limited in adaptiveness and generalization of its behavior. Moreover, this is very different from the language learning process of humans, where language is acquired during communication by taking speaking action and learning from the consequences of speaking action in an interactive manner. This paper presents an interactive setting for grounded natural language learning, where an agent learns natural language by interacting with a teacher and learning from feedback, thus learning and improving language skills while taking part in the conversation. To achieve this goal, we propose a model which incorporates both imitation and reinforcement by leveraging jointly sentence and reward feedbacks from the teacher. Experiments are conducted to validate the effectiveness of the proposed approach.

研究动机与目标

• 开发一种具身化语言学习框架，通过交互而非静态数据集监督来模拟人类语言习得过程。
• 使智能体能够通过生成话语并根据教师提供的反馈（更正、确认、鼓励）来改进语言能力。
• 通过在交互过程中同时利用句子反馈与奖励信号，提升语言学习中的泛化与知识迁移能力。
• 评估模型在未见过的物体-位置组合上的泛化能力，以及从描述性反馈向问答任务的知识迁移能力。
• 证明联合使用模仿与强化学习相比单独使用任一方法，能带来更优的语言习得效果。

提出的方法

• 模型采用双学习机制：模仿学习用于模仿正确话语，强化学习用于优化反馈信号（正/负奖励）。
• 智能体在对话设置中与教师交互，生成对问题或陈述的回应，并接收语言反馈与奖励信号。
• 反馈包括更正性回应（例如：'在北边的是牛油果'）、确认（例如：'是的'）以及否定反馈（例如：'不，橙子在西边'）。
• 模型通过混合训练目标整合两类反馈，结合句子级更正的监督学习与基于奖励的策略梯度优化方法。
• 注意力机制用于可视化智能体在生成回应时关注的场景区域，提升可解释性。
• 实验在两种设置下进行：组合性泛化（测试新型物体-位置对）与知识迁移（基于训练期间描述的对象回答问题）。

实验结果

研究问题

• RQ1 智能体能否通过交互式反馈而非静态数据集监督来学习自然语言？
• RQ2 与单独使用任一方法相比，联合模仿与强化学习在语言习得方面有何改进？
• RQ3 智能体在未在训练中遇到过的新型物体-位置组合上的泛化能力如何？
• RQ4 智能体能否将描述性反馈中的知识迁移至对未见过物体的问答任务中？
• RQ5 在包含未见物体或组合的零样本设置下，模型性能是否保持稳定？

主要发现

• 所提方法在组合性泛化与知识迁移两种设置下，均优于纯模仿学习与纯强化学习的基线模型。
• 在未见配置下（仅测试之前未见过的物体-位置对），模型保持了稳定的性能，展现出强大的泛化能力。
• 模型成功泛化至训练期间未见过的{物体, 位置}组合，表明其具备稳健的概念学习能力。
• 智能体能将描述性反馈（例如：'在西边的是橙子'）中的知识有效迁移至测试中对同一物体的问答任务，显示出有效的知识利用能力。
• 注意力图显示，智能体在生成回应时能正确聚焦于相关视觉元素，与教师反馈保持一致。
• 模型在零样本对话设置中取得了高成功率，尤其在知识迁移场景中表现优异，能正确回答关于仅在训练期间被描述过的对象的问题。