[论文解读] Conversations with Search Engines: SERP-based Conversational Response Generation

Pengjie Ren, Zhumin Chen+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 58被引用 5

一句话总结

本文提出对话式搜索引擎（CaSE），一种基于搜索引擎结果页面（SERPs）生成对话式回复的神经网络流水线，并构建了SaaC数据集以支持多轮、基于SERP的对话问答。CaSE通过支持性标记识别模块和先验感知指针生成器提升回复准确率，在新基准数据集上超越强基线模型。

ABSTRACT

In this paper, we address the problem of answering complex information needs by conversing conversations with search engines, in the sense that users can express their queries in natural language, and directly receivethe information they need from a short system response in a conversational manner. Recently, there have been some attempts towards a similar goal, e.g., studies on Conversational Agents (CAs) and Conversational Search (CS). However, they either do not address complex information needs, or they are limited to the development of conceptual frameworks and/or laboratory-based user studies. We pursue two goals in this paper: (1) the creation of a suitable dataset, the Search as a Conversation (SaaC) dataset, for the development of pipelines for conversations with search engines, and (2) the development of astate-of-the-art pipeline for conversations with search engines, the Conversations with Search Engines (CaSE), using this dataset. SaaC is built based on a multi-turn conversational search dataset, where we further employ workers from a crowdsourcing platform to summarize each relevant passage into a short, conversational response. CaSE enhances the state-of-the-art by introducing a supporting token identification module and aprior-aware pointer generator, which enables us to generate more accurate responses. We carry out experiments to show that CaSE is able to outperform strong baselines. We also conduct extensive analyses on the SaaC dataset to show where there is room for further improvement beyond CaSE. Finally, we release the SaaC dataset and the code for CaSE and all models used for comparison to facilitate future research on this topic.

研究动机与目标

• 解决对话式搜索系统在处理复杂、多轮信息需求方面存在的空白，超越简单事实型查询的范畴。
• 构建一个真实且具有挑战性的基准数据集——SaaC，用于训练和评估基于SERP的对话式回复生成。
• 设计并实现一个端到端神经模型CaSE，通过引入SERP感知组件提升回复生成的准确性。
• 发布SaaC数据集和CaSE代码，以促进未来在基于SERP的对话问答研究的发展。

提出的方法

• SaaC数据集通过众包方式，由工作者将TREC CAsT数据集中相关段落总结为简短、自然语言的回复，同时保留多轮对话的上下文信息。
• CaSE采用支持性标记识别（STI）模块，从SERPs中突出关键证据标记，提升回复的相关性与事实性。
• 引入先验感知指针生成器，通过结合对话历史和来自多个SERPs的证据，增强回复生成质量。
• 模型采用弱监督对比候选编码（CCCE）损失进行训练，以对齐生成回复与真实摘要。
• 该框架在端到端可微分流水线中整合了检索、证据选择与回复生成。
• 基线模型包括来自机器阅读理解（MRC）和知识库问答（KBQA）任务的最先进模型，并针对基于SERP的对话设置进行了适配。

实验结果

研究问题

• RQ1 神经流水线能否在多轮设置下，基于多源SERP片段有效生成准确、自然的对话式回复？
• RQ2 与标准序列到序列（seq2seq）模型相比，引入SERP特异性证据和对话历史在多大程度上提升了回复质量？
• RQ3 SaaC数据集相较于现有对话问答基准，其挑战性程度如何？
• RQ4 CaSE中的哪些组件——如STI模块或先验感知指针生成器——对性能提升贡献最大？

主要发现

• CaSE在SaaC数据集上达到最先进性能，在自动评估与人工评估指标上均优于强基线模型。
• 支持性标记识别（STI）模块通过突出SERPs中的关键证据，显著提升了回复的相关性与事实性。
• 先验感知指针生成器通过结合对话历史与检索到的证据，增强了回复的多样性与准确性。
• SaaC数据集比现有基准更具挑战性，且在CaSE之外仍有显著提升空间，表明仍需进一步研究。
• 弱监督CCCE损失有助于提升生成回复与参考摘要之间的对齐程度，从而改善生成质量。
• SaaC数据集与CaSE代码的发布，确保了研究的可复现性，并推动了未来在基于SERP的对话问答领域的研究。