[论文解读] Combining Search with Structured Data to Create a More Engaging User Experience in Open Domain Dialogue

Kevin K. Bowden, Shereen Oraby+3 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling参考文献 28被引用 8

一句话总结

本文提出了一种用于开放域对话代理的混合方法，结合搜索结果与结构化数据（如 IMDb 中的数据），实现实时生成连贯且引人入胜的回应。通过整合来自两种来源的语义关系，SlugBot 在 Alexa Prize 半决赛中实现了平均对话时长 8:17 分钟，展示了在混合主导权对话中更优的语篇连贯性与主动性。

ABSTRACT

The greatest challenges in building sophisticated open-domain conversational agents arise directly from the potential for ongoing mixed-initiative multi-turn dialogues, which do not follow a particular plan or pursue a particular fixed information need. In order to make coherent conversational contributions in this context, a conversational agent must be able to track the types and attributes of the entities under discussion in the conversation and know how they are related. In some cases, the agent can rely on structured information sources to help identify the relevant semantic relations and produce a turn, but in other cases, the only content available comes from search, and it may be unclear which semantic relations hold between the search results and the discourse context. A further constraint is that the system must produce its contribution to the ongoing conversation in real-time. This paper describes our experience building SlugBot for the 2017 Alexa Prize, and discusses how we leveraged search and structured data from different sources to help SlugBot produce dialogic turns and carry on conversations whose length over the semi-finals user evaluation period averaged 8:17 minutes.

研究动机与目标

• 为解决在用户无固定信息需求的开放域、混合主导权、多轮对话中保持语篇连贯性的挑战。
• 开发一种能够利用非结构化搜索结果与结构化知识源生成上下文恰当、风格多样的回应的系统。
• 使对话代理能够在不依赖预设任务或信息目标的情况下，主动发起对话并维持长时间的互动。
• 探索将搜索与结构化数据整合用于开放域对话系统中的自然语言生成。

提出的方法

• 系统使用命名实体识别来识别电影、演员等实体，并将其链接至 IMDb 等结构化数据源，以获取事实属性（如评分、演员阵容）。
• 对于无法以结构化形式获取的内容，系统从网络搜索中检索相关信息，选取关键句子（如剧情摘要的首句）以构成回应。
• 通过共指消解与代词使用来维持语篇连贯性，确保对‘它’或‘这部电影’等指代正确关联到先前的实体。
• 采用混合生成策略，结合模板化回应与从搜索结果中选取的句子，以提升输出的灵活性与自然度。
• 系统根据内容的可用性与相关性，动态选择使用结构化数据或搜索结果，重点优先选择信息更丰富、更具信息量的回应。
• 未来工作将涉及使用强化学习与对话质量指标（如响应延迟、词汇多样性、对话行为 n-gram）开发排序函数，以优化回应选择。

实验结果

研究问题

• RQ1 如何有效结合结构化数据与搜索结果，以实现实时开放域对话中的连贯性？
• RQ2 实体之间的语义关系在混合主导权对话中对维持语篇连贯性起到何种作用？
• RQ3 对话代理如何在无固定任务或信息需求的情况下主动发起对话并维持互动？
• RQ4 结构化数据与搜索结果在生成引人入胜回应方面各自的优势与局限是什么？
• RQ5 结合模板与检索句子的混合生成模型是否能提升开放域系统中的回应质量与对话长度？

主要发现

• SlugBot 在 Alexa Prize 半决赛评估中实现了平均对话时长 8:17 分钟，表明用户参与度得以持续。
• 结构化数据源（如 IMDb）提供了可靠且简洁的事实（如演员姓名、评分），但通常过于稀疏，难以支持丰富的后续互动。
• 搜索结果通常提供更全面且上下文相关的资讯（如剧情摘要），尤其在结构化数据不完整时表现更优。
• 通过正确解析代词并保持多轮对话中实体的一致性，系统显著提升了语篇连贯性，即使用户使用间接指代也表现良好。
• 混合方法——对结构化数据使用模板，对搜索结果采用句子选择——生成的回应比单一方法更具吸引力与自然度。
• 作者预测，未来将多个结构化数据源整合至统一知识库，将进一步提升对话质量与可扩展性。