[论文解读] Assigning personality/identity to a chatting machine for coherent conversation generation

Qian Qiao, Minlie Huang+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling被引用 40

一句话总结

本文提出了一种新颖模型，为聊天机器人分配预定义的人格/身份，以生成连贯、多样且自然的回复。该模型使用配置文件检测器、位置检测器和双向解码器，生成与特定配置文件属性一致的回复，显著提升了基线序列到序列模型在回复一致性和多样性方面的表现。

ABSTRACT

Endowing a chatbot with personality or an identity is quite challenging but critical to deliver more realistic and natural conversations. In this paper, we address the issue of generating responses that are coherent to a pre-specified agent profile. We design a model consisting of three modules: a profile detector to decide whether a post should be responded using the profile and which key should be addressed, a bidirectional decoder to generate responses forward and backward starting from a selected profile value, and a position detector that predicts a word position from which decoding should start given a selected profile value. We show that general conversation data from social media can be used to generate profile-coherent responses. Manual and automatic evaluation shows that our model can deliver more coherent, natural, and diversified responses.

研究动机与目标

• 使聊天机器人能够生成与预设代理配置文件一致的回复，而非从对话数据中学习人格特征。
• 解决在开放域对话生成中保持一致身份和语言风格的挑战。
• 利用通用社交媒体对话数据生成更自然、更多样化且上下文相关的回复。
• 设计一种模块化架构，以检测相关配置文件属性并确定最优解码起始位置。

提出的方法

• 配置文件检测器分类判断用户帖子是否应使用代理的配置文件进行回复，并选择相关的配置文件关键字段。
• 位置检测器在选定配置文件值后，预测解码应从回复中的哪个词位置开始。
• 双向解码器从选定的配置文件值开始，正向和反向同时生成回复，提升连贯性和流畅性。
• 该模型在通用社交媒体数据（如微博）上进行训练，无需用户特定的对话历史。
• 配置文件检测器和位置检测器与回复生成模型端到端联合训练，使用标注的帖子-回复对进行监督学习。
• 该模型在帖子级别和会话级别均进行评估，包括一致性与回复多样性。

实验结果

研究问题

• RQ1 聊天机器人能否在不依赖用户特定对话数据的情况下，生成与预设代理配置文件一致的回复？
• RQ2 如何仅利用通用社交媒体对话数据生成与配置文件一致的回复？
• RQ3 与基线序列到序列模型相比，所提模型在回复一致性和多样性方面提升了多少？
• RQ4 位置检测器在选择最优解码起始点以实现连贯回复生成方面效果如何？

主要发现

• 所提出的ICCM模型在会话级别评估中达到60.8%的一致性和33.3%的回复多样性，显著优于基线序列到序列模型（2.1%一致性，1.6%多样性）。
• 配置文件检测器在人工对话数据（MD）上达到82.0%的准确率，证明其在识别是否应使用代理配置文件方面的有效性。
• 位置检测器对大多数配置文件关键字段的准确率超过95%（如城市为99.0%，星座为100.0%），仅在罕见关键字段（如'姓名'）上表现较差（35.0%）。
• 当扩展至四个新配置文件关键字段（爱好、偶像、专业、雇主）时，模型仍保持良好性能，逻辑性和正确性仅相对下降10%，但仍优于基线序列到序列模型。
• 人工评估确认，ICCM生成的回复比基线模型更自然、更连贯、更多样化，且逻辑流程更顺畅，身份一致性更强。
• 带有位置控制的双向解码机制显著提升回复质量，ICCM-Pos相比ICCM在多样性上提升10.5%，在一致性上提升14.1%。