[论文解读] Emily: Developing An Emotion-affective Open-Domain Chatbot with Knowledge Graph-based Persona

Weixuan Wang, Xiaoling Cai+5 more|arXiv (Cornell University)|Sep 18, 2021

Topic Modeling参考文献 28被引用 4

一句话总结

本文提出 Emily，一个情绪感知型开放域聊天机器人，通过在捕捉理想情绪状态转换的数据上微调对话模型，检测用户负面情绪并以共情、提升情绪的回复进行回应。通过基于知识图谱的问答（KGQA）系统处理与人格相关的问题，确保人格一致性，实现 99.5% 的话语分类准确率和 97.78% 的人格问答命中率（hit@1）。

ABSTRACT

In this paper, we describe approaches for developing Emily, an emotion-affective open-domain chatbot. Emily can perceive a user's negative emotion state and offer supports by positively converting the user's emotion states. This is done by finetuning a pretrained dialogue model upon data capturing dialogue contexts and desirable emotion states transition across turns. Emily can differentiate a general open-domain dialogue utterance with questions relating to personal information. By leveraging a question-answering approach based on knowledge graphs to handle personal information, Emily maintains personality consistency. We evaluate Emily against a few state-of-the-art open-domain chatbots and show the effects of the proposed approaches in emotion affecting and addressing personality inconsistency.

研究动机与目标

• 开发一个能够在对话过程中感知并积极影响用户情绪状态的开放域聊天机器人。
• 通过将与人格相关的问题与生成式回复解耦，解决开放域聊天机器人中的人格不一致性问题。
• 设计一种基于检索的知识图谱问答（KGQA）系统，确保对个人信息查询的准确且一致的响应。
• 在最先进开放域聊天机器人对比下，评估 Emily 在情绪调节和人格一致性方面的有效性。

提出的方法

• 在从 Twitter 和共情对话数据中提取的用户情绪状态（积极、中性、负面）标注数据集上，微调预训练对话模型（DialoGPT）。
• 使用基于 RoBERTa 的话语分类器检测与人格相关的问题，在区分人格相关与一般问题方面达到 99.5% 的准确率。
• 实现一个情绪感知模块，通过在具有理想情绪状态转换的对话上下文上进行训练，生成能将用户情绪从负面转向正面的回复。
• 构建基于知识图谱嵌入的问答系统（Embedded KGQA），用于检索与人格及名人相关问题的答案，采用 hit@1、hit@3 和 hit@10 作为评估指标。
• 引入一个世界名人知识图谱，以支持对公众人物的回应，增强聊天机器人的事实基础性。
• 采用多阶段流水线：根据问题类型，分别执行话语分类 → 情绪感知回复生成或 KGQA 检索。

实验结果

研究问题

• RQ1 微调后的对话模型能否有效生成在开放域对话中积极影响用户情绪状态的回复？
• RQ2 在开放域聊天机器人中处理个人信息查询时，如何保持人格一致性？
• RQ3 基于知识图谱的问答系统在回答人格相关问题方面，相较于生成模型能多大程度上表现更优？
• RQ4 结合生成式回复生成与基于检索的 QA 的混合方法，能否同时提升情绪响应能力与事实一致性？

主要发现

• 话语分类器在区分人格相关与一般问题方面达到 99.5% 的准确率，实现了对相应模块的有效路由。
• 情绪感知模块成功生成了能将用户情绪从负面转向正面的回复，经由情绪状态转换建模得到验证。
• Embedded KGQA 系统在人格相关问题上实现 0.9778 的 hit@1 得分，表明其能从知识图谱中高精度检索出正确答案。
• 该模型在人格一致性方面表现优异，显著减少了人格信息与生成回复之间的不一致。
• Emily 在情绪调节与一致性方面均优于多个最先进开放域聊天机器人，经定性与定量评估确认。
• 将知识图谱用于个人与名人信息的整合，提升了回应的事实准确性，并减少了幻觉现象。