[论文解读] Conversations with Search Engines.

Pengjie Ren, Zhumin Chen+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 38被引用 11

一句话总结

本文提出了搜索对话数据集（SaaC）和搜索引擎对话管道（CaSE），以实现复杂信息需求下与搜索引擎的自然语言多轮交互。CaSE通过引入支持性标记识别模块和先验感知指针生成器，提升了响应准确率，在新数据集上优于强基线模型。

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

研究动机与目标

• 为解决现有对话式搜索系统在处理复杂信息需求方面表现不佳的问题。
• 构建一个高质量的多轮对话式搜索数据集（SaaC），用于训练和评估对话式搜索管道。
• 开发最先进的CaSE管道，能够通过对话生成准确且自然语言响应，以应对复杂查询。
• 通过整合检索与响应生成组件，实现对话式搜索的端到端学习。
• 发布SaaC数据集与CaSE代码，以加速对话式搜索领域的未来研究。

提出的方法

• 通过扩展一个多轮对话式搜索数据集，并利用众包工作者将相关段落总结为简洁、自然对话式的响应，构建了SaaC数据集。
• 设计了CaSE管道，其中包含支持性标记识别模块，用于突出检索段落中的关键证据。
• 引入先验感知指针生成器，通过结合对话历史和文档相关性，提升响应生成质量。
• 使用SaaC数据集对CaSE模型进行端到端训练，以优化响应流畅性、相关性与事实准确性。
• 通过自动指标与人工评估，将该管道与强基线模型进行对比，验证性能提升。
• 在SaaC数据集上开展消融研究与错误分析，以识别局限性并明确未来改进方向。

实验结果

研究问题

• RQ1 如何构建一个支持复杂、多轮信息需求的对话式搜索数据集？
• RQ2 CaSE管道在生成准确且自然的响应方面，相较于现有基线模型的性能提升程度如何？
• RQ3 支持性标记识别模块与先验感知指针生成器在提升响应质量方面分别起到什么作用？
• RQ4 通过对SaaC数据集的分析，当前对话式搜索系统的关键失败模式与局限性是什么？
• RQ5 如何在对话式搜索管道中联合优化检索与响应生成？

主要发现

• CaSE管道在生成复杂查询的准确且上下文相关的响应方面，显著优于强基线模型。
• 支持性标记识别模块提升了模型聚焦于检索段落中相关证据的能力。
• 先验感知指针生成器通过利用对话历史与文档先验知识，增强了响应的相关性。
• SaaC数据集揭示，当前系统在多轮交互中难以维持连贯性并处理长距离依赖关系。
• 对SaaC的数据分析表明，幻觉与事实不一致仍是主要挑战，尤其在复杂查询场景下更为显著。
• SaaC数据集与CaSE代码的发布，为具有现实应用价值的对话式搜索未来研究奠定了基础。