[论文解读] Audrey: A Personalized Open-Domain Conversational Bot

Chung Hoon Hong, Yuan Liang+11 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Text Analysis Techniques参考文献 17被引用 6

一句话总结

Audrey 是为 Alexa Prize Grand Challenge 3 开发的个性化开放域聊天机器人，采用混合架构，结合基于知识的生成器与神经网络响应生成器，在信息性、个人性和关系性层面与用户互动。通过整合情绪检测、个性理解与自适应对话策略，Audrey 在半决赛期间取得了 5 分制平均分 3.25 的成绩，通过上下文感知、兴趣驱动的对话显著提升了连贯性与用户参与度。

ABSTRACT

Conversational Intelligence requires that a person engage on informational, personal and relational levels. Advances in Natural Language Understanding have helped recent chatbots succeed at dialog on the informational level. However, current techniques still lag for conversing with humans on a personal level and fully relating to them. The University of Michigan's submission to the Alexa Prize Grand Challenge 3, Audrey, is an open-domain conversational chat-bot that aims to engage customers on these levels through interest driven conversations guided by customers' personalities and emotions. Audrey is built from socially-aware models such as Emotion Detection and a Personal Understanding Module to grasp a deeper understanding of users' interests and desires. Our architecture interacts with customers using a hybrid approach balanced between knowledge-driven response generators and context-driven neural response generators to cater to all three levels of conversations. During the semi-finals period, we achieved an average cumulative rating of 3.25 on a 1-5 Likert scale.

研究动机与目标

• 开发一种对话代理，能够在信息性、个人性和关系性维度上持续维持自然、吸引人且个性化的互动。
• 解决现有开放域聊天机器人在个性化与长期连贯性方面存在的局限性。
• 设计一种混合架构，在基于规则与神经网络的响应生成之间实现平衡，以提升对话质量与适应性。
• 通过模块化 NLP 组件与动态对话策略，实现实时适应用户兴趣、情绪与对话流程。
• 评估响应生成策略与对话管理对用户满意度与对话时长的影响。

提出的方法

• 采用基于 Amazon Conversational Bot Toolkit (CoBot) 的模块化、可扩展架构，NLU、对话管理与响应生成分别使用独立的 Docker 模块实现。
• 集成社交感知模型，包括情绪分类、情感分析与个性理解模块（PUM），以推断用户兴趣与偏好。
• 使用混合响应生成器，结合基于模板与神经网络（如 GPT-2）的生成方式，根据上下文与连贯性需求动态切换。
• 采用强化学习实现对话策略管理器，用于话题选择与对话主题间的自适应转换。
• 通过 A/B 测试评估趋势新闻集成与上下文长度对响应质量与对话时长的影响。
• 利用 AWS Lambda 实现与 Alexa Skills Kit (ASK) 的无服务器集成，支持实时、高可用性部署。

实验结果

研究问题

• RQ1 聊天机器人如何在多样化的开放域话题中维持连贯、吸引人且个性化的对话？
• RQ2 结合基于规则与神经网络的响应生成对用户满意度与对话质量有何影响？
• RQ3 将神经响应生成器基于相关话题上下文而非固定大小上下文进行条件化，如何影响响应连贯性与用户评分？
• RQ4 话题转换策略（如使用趋势新闻或后续模板）在多大程度上影响对话时长与用户反馈？
• RQ5 具备个性感知的对话系统能否提升开放域对话中的长期参与度与自然感？

主要发现

• 混合响应生成器通过平衡基于模板与基于神经网络的生成优势，显著提升了对话连贯性。
• 仅使用相关话题上下文的神经响应生成器（NRG）使平均反馈评分提升至 3.308，高于使用固定大小上下文时的 3.196，表明响应质量更优。
• 集成趋势新闻生成器（TNCG）使平均对话时长增至 224.14 秒，高于使用后续生成器的 151.00 秒，但未显著提升评分。
• 实验揭示对话时长与用户反馈评分之间存在微弱相关性，表明更长的对话并不总是意味着更高的满意度。
• 个性理解模块（PUM）与基于强化学习的话题选择策略表现良好，但由于部署时间较晚，仍需进一步实验验证。
• Audrey 在半决赛期间取得了累计平均分 3.25（满分 5 分），证明其多层级互动策略的有效性。