[论文解读] Learning through Dialogue Interactions by Asking Questions

Jiwei Li, Alexander Miller+3 more|arXiv (Cornell University)|Dec 15, 2016

Speech and dialogue systems被引用 72

一句话总结

本文提出了一种训练对话智能体的框架，通过在交互过程中学习提出澄清性问题来提升问答性能。在模拟的电影问答环境和通过 Mechanical Turk 获取的真实人类数据上，作者证明了那些经过训练会提问的智能体——无论是在离线还是在线设置下——在知识匮乏或模糊情境下，其准确率显著高于仅依赖固定回复的智能体。

ABSTRACT

A good dialogue agent should have the ability to interact with users by both responding to questions and by asking questions, and importantly to learn from both types of interaction. In this work, we explore this direction by designing a simulator and a set of synthetic tasks in the movie domain that allow such interactions between a learner and a teacher. We investigate how a learner can benefit from asking questions in both offline and online reinforcement learning settings, and demonstrate that the learner improves when asking questions. Finally, real experiments with Mechanical Turk validate the approach. Our work represents a first step in developing such end-to-end learned interactive dialogue agents.

研究动机与目标

• 研究对话智能体如何通过提问而非仅依赖固定训练回复来从交互反馈中学习。
• 解决对话中的三种关键失败模式：误解表面形式、推理困难以及缺乏必要知识。
• 设计一个模拟器和电影问答领域中的合成任务，以系统化研究提问作为学习机制。
• 在离线监督学习和在线强化学习设置下评估提问的影响。
• 通过在 Amazon Mechanical Turk 上使用真实人类教师验证该方法，确认结果可推广至仿真之外。

提出的方法

• 设计了一个包含三个合成任务的对话模拟器：问题澄清、知识操作和知识获取，每个任务针对对话理解中的不同失败模式。
• 使用 WikiMovies 数据集作为知识库，并对其进行调整，以创建智能体必须通过提问来解决歧义、检索相关事实或获取缺失知识的情境。
• 实现了一种基于记忆网络的模型（MemN2N），并引入上下文感知注意力机制（Cont-MemN2N），通过利用对话历史更好地处理未见词汇和复杂推理。
• 通过在推理阶段训练智能体提问（TestAQ）并对比从不提问的模型（TestQA）来评估离线学习，使用合成数据和真实人类数据进行对比。
• 在在线强化学习中应用提问成本函数，使智能体能够基于期望奖励与成本的权衡，学习提问的最佳时机。
• 通过 Mechanical Turk 进行人类评估，收集真实教师的回复，以验证模型在真实世界对话复杂性和多样性的表现。

实验结果

研究问题

• RQ1 对话智能体是否能通过在交互过程中学习提问而非仅依赖固定回复来提升其问答性能？
• RQ2 在涉及表面形式歧义、推理复杂性和知识缺口的情境下，提问如何影响性能？
• RQ3 在在线强化学习中，给定每次提问的成本，何时提问的最优策略是什么？
• RQ4 提问的优势是否能从仿真数据推广到真实人类教师的互动中？
• RQ5 上下文感知建模（Cont-MemN2N）如何增强智能体提出相关问题的能力并提升性能？

主要发现

• 在缺失答案实体和缺失全部信息的任务中，测试时从不提问的智能体（TestQA）准确率低于 0.01，表明在知识匮乏情境下提问具有关键作用。
• 采用学习到的提问策略的智能体（TestModelAQ）在性能上接近于能提出正确问题的智能体（TestAQ），并显著优于从不提问的智能体（TestQA），即使其提问可能无关紧要。
• Cont-MemN2N 通过利用对话上下文更好地区分正确答案，相比原始 MemN2N 表现更优，尤其在遇到不熟悉词汇时。
• 在在线强化学习中，较差的学生在提问成本较低时提问频率更高，且从提问中获益更多，尤其在高成本惩罚下准确率提升更显著。
• 在 Mechanical Turk 上，TrainAQ+TestAQ 设置（在训练和推理阶段均提问）在所有任务中均达到最高性能，证实通过提问进行交互能增强真实人类互动中的学习效果。
• 尽管由于噪声和训练数据量较小导致绝对性能较低，但真实人类数据上仍保持相同趋势，验证了该方法的鲁棒性和泛化能力。