[论文解读] Aiming to Know You Better Perhaps Makes Me a More Engaging Dialogue Partner

Yury Zemlyanskiy, Fei Sha|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 26被引用 3

一句话总结

本文提出DiscoveryScore，一种衡量对话智能体在对话过程中了解其人类对话对象程度的度量指标，将互动视为信息发现的过程。通过使用模拟人类模型对响应进行重排序以最大化预期DiscoveryScore，该智能体生成了更具探究性、个性化和吸引力的对话，在人类评估中显著优于基线模型。

ABSTRACT

There have been several attempts to define a plausible motivation for a chit-chat dialogue agent that can lead to engaging conversations. In this work, we explore a new direction where the agent specifically focuses on discovering information about its interlocutor. We formalize this approach by defining a quantitative metric. We propose an algorithm for the agent to maximize it. We validate the idea with human evaluation where our system outperforms various baselines. We demonstrate that the metric indeed correlates with the human judgments of engagingness.

研究动机与目标

• 解决当前缺乏对吸引人对话系统进行显式优化目标的问题。
• 将互动定义为智能体发现人类对话对象个人事实的目标。
• 开发一种可度量的指标——DiscoveryScore，其与人类对对话吸引力的感知具有相关性。
• 设计一种响应选择策略，以在保持连贯性的同时最大化信息发现。
• 通过在Amazon Mechanical Turk上的真人评估验证该方法，结果显示吸引力得分得到提升。

提出的方法

• 提出DiscoveryScore作为量化指标，用于衡量在对话过程中发现的人类对话对象真实个人事实的数量。
• 使用个性化对话模型（ProfileMemory+）作为人类对话对象的模拟器，以估计候选响应的预期DiscoveryScore。
• 采用两步重排序流程：首先生成100个响应候选，然后对每个候选使用ProfileMemory+模型模拟10轮对话，以估计预期DiscoveryScore。
• 采用束搜索（100个束）和贪婪解码进行响应生成，并通过基于DiscoveryScore的重排序选择最具信息量的响应。
• 在PersonaChat和OpenSubtitles数据集上联合训练ProfileMemory+模型，以提升对人物特征的理解和响应的一致性。
• 通过Mechanical Turk上的人工评估，对流畅性、一致性以及尤其对吸引力进行1–5分制评分，同时评估人物特征识别的准确率。

实验结果

研究问题

• RQ1 通过明确旨在发现对话对象的个人事实，能否提升对话智能体的吸引力？
• RQ2 所提出的DiscoveryScore指标是否与人类在开放域对话中对吸引力的判断具有相关性？
• RQ3 基于最大化预期DiscoveryScore的响应选择策略，是否能产生比标准基线更吸引人的对话？
• RQ4 使用模拟人类模型（ProfileMemory+）在估计DiscoveryScore和最终对话质量方面产生了何种影响？
• RQ5 基于DiscoveryScore的重排序在多大程度上减少了自我披露，同时增加了对对话对象信息的关注？

主要发现

• 基于DiscoveryScore的重排序方法在所有测试的聊天机器人模型中均显著提升了人工评分的吸引力得分，评估者经常描述该智能体为“真正感兴趣”。
• 吸引力与响应长度或问题数量等简单指标之间无明显相关性，但与DiscoveryScore存在强相关性。
• ProfileMemory+模型在PersonaChat数据集上实现了最先进水平的困惑度，并展现出优于标准序列到序列模型的人物特征利用能力。
• 在使用基于DiscoveryScore的重排序时，人物特征识别得分略有下降，表明自我披露减少，对人类事实的关注度提高。
• 与未进行重排序的基线模型相比，人工评估者对基于DiscoveryScore优化的系统在吸引力方面的评分显著更高（p < 0.01）。
• 示例对话显示，经重排序的模型生成了更多具有探究性、上下文相关的提问，同时保持了连贯性和流畅性。