[论文解读] Dialog-based Language Learning

Jason Weston|arXiv (Cornell University)|Apr 20, 2016

Topic Modeling被引用 27

一句话总结

本文提出了一种基于对话的语言学习方法，其中智能体通过无显式奖励信号的师生互动对话来学习语言。通过在一种新型模型中引入预测性前瞻机制，该方法在bAbI和大规模问答数据集上实现了准确的问题回答，证明了仅依靠对话伙伴的监督即可实现有效的语言习得。

ABSTRACT

A long-term goal of machine learning research is to build an intelligent dialog agent. Most research in natural language understanding has focused on learning from fixed training sets of labeled data, with supervision either at the word level (tagging, parsing tasks) or sentence level (question answering, machine translation). This kind of supervision is not realistic of how humans learn, where language is both learned by, and used for, communication. In this work, we study dialog-based language learning, where supervision is given naturally and implicitly in the response of the dialog partner during the conversation. We study this setup in two domains: the bAbI dataset of (Weston et al., 2015) and large-scale question answering from (Dodge et al., 2015). We evaluate a set of baseline learning strategies on these tasks, and show that a novel model incorporating predictive lookahead is a promising approach for learning from a teacher's response. In particular, a surprising result is that it can learn to answer questions correctly without any reward-based supervision at all.

研究动机与目标

• 探究语言模型是否能在无显式奖励信号的情况下通过互动对话有效学习。
• 弥合传统监督式NLP训练与人类语言习得之间通过交流实现的差距。
• 在两个基准数据集（bAbI和大规模问答）上评估对话设置下的学习策略。
• 开发并测试一种利用对话伙伴响应中隐式监督的模型。

提出的方法

• 该模型采用基于对话的设置，智能体在对话过程中从教师的回应中学习。
• 引入一种预测性前瞻机制，以预测教师的回应并引导智能体的内部推理过程。
• 该方法完全不依赖任何基于奖励的监督，仅依靠对话的自然流动进行学习。
• 该模型在两个数据集上进行训练和评估：bAbI（Weston et al., 2015）和大规模问答（Dodge et al., 2015）。
• 评估基线学习策略，以与所提出的前瞻增强型模型进行性能对比。
• 该架构整合了序列建模与动态响应预测，以提升上下文理解能力。

实验结果

研究问题

• RQ1 语言模型是否能在无任何形式的基于奖励的监督下，正确回答问题？
• RQ2 预测性前瞻在提升基于对话监督的学习效果方面有多有效？
• RQ3 在性能和样本效率方面，对话式学习与传统监督方法相比如何？
• RQ4 对话伙伴响应中的隐式监督能否带来稳健的语言理解？

主要发现

• 所提出的带有预测性前瞻机制的模型在bAbI和大规模问答数据集上均表现出色，且无需任何基于奖励的监督。
• 该模型仅通过交互即可学会正确回答问题，表明隐式对话监督足以实现有效学习。
• 与基线策略相比，预测性前瞻显著提升了学习效率和准确性。
• 结果表明，在机器学习框架中，通过对话实现类人语言习得是可行的。