[论文解读] Alquist: The Alexa Prize Socialbot

Jan Pichl, Petr Marek+4 more|arXiv (Cornell University)|Apr 18, 2018

Topic Modeling参考文献 24被引用 15

一句话总结

Alquist 是一项为 Alexa Prize 竞赛设计的混合式开放域对话系统，结合基于规则的结构化主题对话与神经端到端响应生成，以维持引人入胜的长对话。通过引入富含事实内容的主题相关对话，系统在平均评分（最高达 3.97）和对话时长方面优于通用闲聊和问答模块，显著提升了用户参与度和评分。

ABSTRACT

This paper describes a new open domain dialogue system Alquist developed as part of the Alexa Prize competition for the Amazon Echo line of products. The Alquist dialogue system is designed to conduct a coherent and engaging conversation on popular topics. We are presenting a hybrid system combining several machine learning and rule based approaches. We discuss and describe the Alquist pipeline, data acquisition, and processing, dialogue manager, NLG, knowledge aggregation and hierarchy of sub-dialogs. We present some of the experimental results.

研究动机与目标

• 设计一个能够就新闻、体育和娱乐等当前话题持续进行长时、连贯且引人入胜的开放域对话的对话代理。
• 解决纯基于规则系统在灵活性和可扩展性方面的局限，以及端到端神经模型在数据稀缺性和事实一致性方面的不足。
• 通过在对话中引入结构化事实内容和话题过渡，提升用户参与度，减少对话过早终止的情况。
• 以用户评分和对话时长为主要指标评估系统，与 Alexa Prize 竞赛目标保持一致。
• 证明结合基于规则的主题对话与神经响应生成的混合系统，在真实用户交互中优于纯生成式或纯规则化方法。

提出的方法

• 系统采用分层对话架构，顶层对话管理器将用户路由至特定主题的基于规则的子对话（如电影、体育、新闻）。
• 每个子对话由可重用的基本对话组成，用于处理是/否响应、实体识别以及简单指令（如“重复”）。
• 意图和实体检测采用多种方法：TF-IDF、词嵌入（GloVe）、逻辑回归，以及基于多通道卷积神经网络的高精度神经网络方法。
• 神经意图分类器使用 300D GloVe 嵌入，卷积层（消息输入的滤波器大小为 1–5，焦点输入的滤波器大小为 1–3），最大池化，以及带有 dropout 和 softmax 输出的全连接层。
• 响应生成结合了结构化对话中的基于规则响应与端到端序列到序列模型，用于开放性或发散性对话回合。
• 每个主题的训练数据通过用户交互收集，并用于微调神经对话管理器，实现跨主题的部分迁移。

实验结果

研究问题

• RQ1 如何通过结合基于规则与神经方法的混合系统，提升开放域社交机器人在参与度和连贯性方面的表现？
• RQ2 富含事实内容的结构化主题对话对用户评分和对话时长有何影响？
• RQ3 不同意图和实体检测方法（如嵌入、逻辑回归、神经网络）在准确性和可扩展性方面如何比较？
• RQ4 在特定主题数据上训练的神经对话管理器在多大程度上可跨不同领域迁移？
• RQ5 为何封闭式响应模块（如闲聊、问答）会导致对话时间较短？

主要发现

• 使用多通道卷积神经网络结合 GloVe 嵌入并关注先前意图的神经意图分类器达到了最高准确率（92.7%）。
• 结构化主题对话在用户满意度方面始终优于通用模块，其中“趣味事实”获得最高平均评分（3.972），而“新闻”对话平均时长最长（102 秒）。
• “笑话”和“游戏”对话表现出高参与度（评分分别为 3.931 和 3.828）和中等时长（50 秒和 93 秒），表明其具有有效的娱乐价值。
• 封闭式响应模块如“重复”和“推荐”评分较低（分别为 2.429 和 3.575），且对话时长短，表明用户在单轮响应后容易失去兴趣。
• “帮助”和“停止”模块评分较低（分别为 3.509 和 3.682），表明用户认为其缺乏吸引力，可能由于功能范围有限且内容贫乏。
• 混合架构实现了各主题的有效数据收集，支持神经对话管理器的增量训练，并具备跨主题的部分可迁移性。