[论文解读] Gunrock: A Social Bot for Complex and Engaging Long Conversations

Dian Yu, Michelle Cohn+13 more|arXiv (Cornell University)|Oct 7, 2019

Topic Modeling参考文献 11被引用 11

一句话总结

Gunrock 是一款社交聊天机器人，通过先进的自然语言理解、角色一致性以及一种新颖的事实-观点交错策略，旨在实现长期、深入且复杂的对话。在 2018 年 Alexa 奖中，Gunrock 的表现优于其他系统，用户在讨论 Gunrock 的背景故事或分享个人经历时，产生了更长的发言并表现出更高的满意度，表明更深层次、更具互动性的对话能够显著提升参与度和用户体验。

ABSTRACT

Gunrock is the winner of the 2018 Amazon Alexa Prize, as evaluated by coherence and engagement from both real users and Amazon-selected expert conversationalists. We focus on understanding complex sentences and having in-depth conversations in open domains. In this paper, we introduce some innovative system designs and related validation analysis. Overall, we found that users produce longer sentences to Gunrock, which are directly related to users' engagement (e.g., ratings, number of turns). Additionally, users' backstory queries about Gunrock are positively correlated to user satisfaction. Finally, we found dialog flows that interleave facts and personal opinions and stories lead to better user satisfaction.

研究动机与目标

• 设计一款能够在开放领域环境中持续进行长期、连贯且引人入胜对话的社交聊天机器人。
• 通过多步骤自然语言理解，提升对复杂用户语句（包括长句和代词指代）的理解能力。
• 通过基于角色的互动和对话流程策略，鼓励用户更多参与，从而提升用户参与度。
• 探究将事实性信息与个人观点及故事交错呈现，对用户满意度的影响。
• 评估用户言语行为（如句子长度和背景故事查询）对整体对话质量和评分的影响。

提出的方法

• Gunrock 采用基于 Amazon Conversational Bot Toolkit (CoBot) 的模块化、事件驱动架构，集成自动语音识别（ASR）纠错与领域特定知识库。
• 其多步骤 NLU 流程包括复杂语句的分割、利用基于双音素匹配的语音匹配技术纠正 ASR 错误，并在对话轮次间执行代词指代消解。
• 对话管理器采用新颖的对话行为模式，并根据 NLU 特征选择特定主题模块，实现上下文感知的响应生成。
• Gunrock 在主题模块（如动物模块）中采用事实-观点交错策略，交替呈现一般性事实与关于用户宠物的个性化问题。
• 丰富的角色数据库确保了角色信息的一致性与连贯性，支持长期参与和用户好奇心。
• 自然语言生成（NLG）通过标记语言和文本转语音（TTS）组合生成响应，并通过反馈回路维持对话深度与用户参与度。

实验结果

研究问题

• RQ1 理解复杂且长句用户语句的能力如何影响用户参与度和对话长度？
• RQ2 用户对聊天机器人背景故事的好奇心在多大程度上影响整体满意度和对话质量？
• RQ3 将事实性信息与个人化问题（如关于宠物的问题）交错呈现，是否能带来更高的用户评分和更深层次的参与？
• RQ4 用户言语行为（如句子长度和对话轮次数量）与感知质量及满意度之间存在何种相关性？
• RQ5 社交聊天机器人能否在鼓励用户分享个人信息和观点的同时，保持角色的一致性？

主要发现

• 与 Gunrock 对话的用户产生了显著更长的发言，且更长的句子与更高的用户参与度直接相关，表现为对话轮次增加和评分提升（β = 1.85，p < 0.001）。
• 关于 Gunrock 背景故事的查询次数与用户满意度呈强烈正相关，对数转换后的回归系数为 β = 0.10（p < 0.001）。
• 与 Gunrock 讨论宠物的用户整体评分显著更高（β = 0.15，p = 0.016），表明个性化显著提升了用户满意度。
• 将事实性内容与个人问题及故事交错的对话流程带来了更佳的用户体验，表明事实与个人化结合的互动模式能有效提升参与度。
• Gunrock 的架构成功支持了更深层次的对话，用户贡献了更多信息，且对话持续时间更长，体现出类人对话的动态特征。
• 系统处理复杂句子和代词指代消解的能力，显著提升了对话连贯性，并增强了用户对参与感的感知。