[论文解读] Complex Sequential Question Answering: Towards Learning to Converse Over Linked Question Answer Pairs with a Knowledge Graph

Amrita Saha, Vardaan Pahuja+3 more|arXiv (Cornell University)|Jan 31, 2018

Topic Modeling被引用 22

一句话总结

本文提出了复杂顺序问答（CSQA）这一新任务，将大规模知识图谱上的事实性问答与多轮对话系统相结合。作者构建了一个大规模数据集，包含20万组对话，共160万轮对话，其中问题复杂，需进行逻辑、量化及比较性推理。尽管使用了最先进模型，性能仍不理想，凸显了当前方法在对话场景中上下文感知、推理密集型问答方面的关键缺陷。

ABSTRACT

While conversing with chatbots, humans typically tend to ask many questions, a significant portion of which can be answered by referring to large-scale knowledge graphs (KG). While Question Answering (QA) and dialog systems have been studied independently, there is a need to study them closely to evaluate such real-world scenarios faced by bots involving both these tasks. Towards this end, we introduce the task of Complex Sequential QA which combines the two tasks of (i) answering factual questions through complex inferencing over a realistic-sized KG of millions of entities, and (ii) learning to converse through a series of coherently linked QA pairs. Through a labor intensive semi-automatic process, involving in-house and crowdsourced workers, we created a dataset containing around 200K dialogs with a total of 1.6M turns. Further, unlike existing large scale QA datasets which contain simple questions that can be answered from a single tuple, the questions in our dialogs require a larger subgraph of the KG. Specifically, our dataset has questions which require logical, quantitative, and comparative reasoning as well as their combinations. This calls for models which can: (i) parse complex natural language questions, (ii) use conversation context to resolve coreferences and ellipsis in utterances, (iii) ask for clarifications for ambiguous queries, and finally (iv) retrieve relevant subgraphs of the KG to answer such questions. However, our experiments with a combination of state of the art dialog and QA models show that they clearly do not achieve the above objectives and are inadequate for dealing with such complex real world settings. We believe that this new dataset coupled with the limitations of existing models as reported in this paper should encourage further research in Complex Sequential QA.

研究动机与目标

• 解决用户在大规模知识图谱上提出一系列复杂、上下文依赖问题的真实聊天机器人场景。
• 通过引入一种新任务——复杂顺序问答（CSQA），弥合孤立问答与对话系统之间的差距。
• 构建一个大规模、高质量的20万组多轮对话数据集，共160万轮对话，涉及知识图谱上的复杂推理。
• 识别并分析当前模型在处理复杂、上下文敏感问答时的关键挑战，如推理能力、指代消解和记忆效率。

提出的方法

• 通过半自动、人工密集的流程构建数据集，由内部团队和众包标注员协作生成连贯、关联的问答对话。
• 问题设计旨在需要在大规模知识图谱（WikiData，2016年11月21日版本）上进行复杂推理——包括逻辑、量化、比较或其组合。
• 提出一种混合模型，结合最先进的对话（HRED）与问答架构，并引入键值记忆网络以存储和检索相关子图信息。
• 模型采用基于n-gram匹配的候选生成步骤以筛选相关知识库元组，但该方法被证明存在不足，因存在改写和实体同义现象。
• 系统包含澄清机制，当指代消解或省略句解析存在不确定性时，会向用户提问以澄清。
• 记忆组织采用扁平化的键值网络结构，但本文指出这在处理需超过10万条元组的复杂查询时成为瓶颈。

实验结果

研究问题

• RQ1 现有最先进模型能否有效处理大规模知识图谱上具有上下文依赖的复杂多轮问答？
• RQ2 与简单事实性问题相比，模型在处理需要逻辑、量化或比较推理的问题时表现如何？
• RQ3 当前模型在对话问答中对指代、省略句和模糊性问题的处理能力如何？
• RQ4 当前记忆增强网络在存储和检索复杂推理所需的大规模子图时，其可扩展性和效率存在哪些限制？
• RQ5 如何改进候选生成机制，以更好应对复杂问答中实体和关系的改写表达？

主要发现

• 所提出的混合模型（结合HRED与问答组件）在CSQA任务上表现显著不佳，表明当前架构存在根本性局限。
• 在间接或不完整问题（如含省略或指代）上性能急剧下降，表明尽管HRED具备上下文建模能力，但上下文感知推理能力仍不足。
• 基于n-gram匹配的候选生成方法因实体和关系的改写（如“Leo”与“Leonardo”）导致召回率低，降低模型有效性。
• 超过15%的问题需要超过10万个候选元组，导致扁平键值记忆网络不堪重负，引发GPU内存与计算瓶颈。
• 模型在处理模糊查询时难以有效澄清，常无法触发必要澄清机制，导致错误答案。
• 数据集表明，当前模型无法在不同推理类型（逻辑、量化、比较）间有效泛化，尤其在涉及多轮、多实体推理时表现更差。