[论文解读] Alquist 2.0: Alexa Prize Socialbot Based on Sub-Dialogue Models

Jan Pichl, Petr Marek+3 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 17被引用 12

一句话总结

Alquist 2.0 为 Alexa Prize 2018 引入了一种模块化、基于本体的对话系统，采用话题节点，并为每个子对话分别使用基于 LSTM 的对话管理（DM）模型，以实现动态、上下文感知且不重复的对话。该系统通过检测意图和话题切换，提升参与度，在 A/B 测试中获得更高的用户评分，其中改写（paraphrasing）和降低轶事密度被证明能显著提升用户满意度。

ABSTRACT

This paper presents the second version of the dialogue system named Alquist competing in Amazon Alexa Prize 2018. We introduce a system leveraging ontology-based topic structure called topic nodes. Each of the nodes consists of several sub-dialogues, and each sub-dialogue has its own LSTM-based model for dialogue management. The sub-dialogues can be triggered according to the topic hierarchy or a user intent which allows the bot to create a unique experience during each session.

研究动机与目标

• 为 Alexa Prize 2018 竞赛设计一种更具参与性、避免重复的开放域对话代理。
• 通过围绕话题节点构建对话并采用模块化的子对话管理，提升对话连贯性和用户参与度。
• 通过为每个子对话使用独立的基于 LSTM 的对话管理模型，实现动态话题切换和基于意图的对话流程。
• 通过自定义基于 Web 的编辑器和自动化模型训练流水线，简化内容创建和系统维护。
• 通过 A/B 测试对真实用户交互进行实证评估，检验改写、轶事密度和实体切换等设计选择的影响。

提出的方法

• 系统将对话内容组织为树状结构的话题节点，每个节点包含多个聚焦于特定子话题的子对话。
• 每个子对话由专用的基于 LSTM 的对话管理模型进行管理，其设计灵感来自混合代码网络（Hybrid Code Networks），并在合成数据和真实用户数据上进行训练。
• 话题切换检测器和意图分类器根据用户输入和上下文动态选择下一个子对话，实现无缝的话题转换。
• 自定义的基于 Web 的编辑器使非技术人员能够设计对话结构，系统可自动生成对话管理模型及配套的 Java 代码。
• 上下文信息（包括对话历史、实体和意图标注）持久化存储于 DynamoDB，并同步至 Elasticsearch 以实现快速检索和分析。
• 系统采用 AWS Lambda 和容器化微服务实现可扩展的模块化部署，各组件根据 CPU 和内存负载自动扩展。

实验结果

研究问题

• RQ1 如何通过为子对话量身定制模型的模块化对话系统，提升开放域社交机器人对话的连贯性并减少重复？
• RQ2 对用户话语进行改写在多大程度上能提升社交机器人交互中的感知参与度和用户满意度？
• RQ3 在切换话题前，连续呈现多少个轶事事实可维持用户兴趣？
• RQ4 基于实体的话题切换在延长对话质量与减少用户疲劳方面有多有效？
• RQ5 基于 Web 的对话结构创作工具是否能显著降低开发开销并提升可维护性？

主要发现

• 对用户话语进行改写使平均用户反馈从 3.49（变体 A）提升至 3.53（变体 B），表明感知参与度有统计显著提升。
• 减少连续轶事对话的数量可提升用户评分：一次轶事为 3.47，两次为 3.44，三次为 3.42，表明轶事密度越高，收益越低。
• 在新闻或轶事之后通过实体建议相关话题，虽未达统计显著差异，但用户满意度提升至 3.51（无建议变体为 3.55），表明该策略具积极影响。
• 子对话模型架构在 bAbI 任务 6 上的表现优于当前最先进模型，证明其在开放域对话管理中的有效性。
• 使用自定义基于 Web 的编辑器实现了快速内容迭代，显著降低了对话系统开发与部署的复杂度。
• 对对话树中真实用户流量的可视化揭示了意外的对话模式和路径偏离，为针对性地优化模型提供了依据。