[论文解读] INSPIRED: Toward Sociable Recommendation Dialog Systems

Shirley Anugrah Hayati, Dongyeop Kang+3 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 35被引用 12

一句话总结

本文提出了 Inspired，一个包含1,001段人类之间电影推荐对话的新数据集，其对话内容基于社会科学研究理论标注了社交策略。通过在端到端对话模型中融入这些策略（如鼓励和个人观点），作者证明，所提出的系统在自动指标和人工评估中均优于基线模型，尤其在说服力和互动性方面表现更优。

ABSTRACT

In recommendation dialogs, humans commonly disclose their preference and make recommendations in a friendly manner. However, this is a challenge when developing a sociable recommendation dialog system, due to the lack of dialog dataset annotated with such sociable strategies. Therefore, we present INSPIRED, a new dataset of 1,001 human-human dialogs for movie recommendation with measures for successful recommendations. To better understand how humans make recommendations in communication, we design an annotation scheme related to recommendation strategies based on social science theories and annotate these dialogs. Our analysis shows that sociable recommendation strategies, such as sharing personal opinions or communicating with encouragement, more frequently lead to successful recommendations. Based on our dataset, we train end-to-end recommendation dialog systems with and without our strategy labels. In both automatic and human evaluation, our model with strategy incorporation outperforms the baseline model. This work is a first step for building sociable recommendation dialog systems with a basis of social science theories.

研究动机与目标

• 为解决缺乏自然、具有社交性的推荐对话数据集且未标注有效沟通策略的问题。
• 探究如鼓励和个人观点等社交策略如何影响人类对话中的成功推荐。
• 开发一种融入社交策略的对话系统，以提升推荐互动中的说服力、参与度与自然性。
• 通过自动评估与人工评估验证基于策略建模在端到端推荐对话系统中的有效性。

提出的方法

• 从众包工作者处收集1,001段自然的、两人参与的电影推荐对话，在无脚本约束的自由对话环境中进行。
• 基于社会科学研究理论设计策略标注方案，为每个话语标注如鼓励、相似性、个人观点等社交策略。
• 通过在输入序列前添加策略标记（如“鼓励”）来微调端到端对话模型，以引导生成。
• 使用基于BERT的分类器检测推荐意图，准确率达95.4%，F1得分为91.2%，以确保推荐内容的生成。
• 通过自动指标（困惑度、BLEU-4）和人工评估（流畅性、一致性、自然性、说服力、互动性）对模型进行评估。
• 将无策略监督的基线模型与策略增强模型进行比较，选择表现最佳的策略组合（如仅使用“鼓励”）。

实验结果

研究问题

• RQ1 如鼓励和个人观点等社交推荐策略是否与人类对话中的成功推荐相关？
• RQ2 在端到端对话模型中融入社交策略是否能提升推荐的质量与说服力？
• RQ3 人类用户如何看待使用社交策略的对话系统与未使用社交策略的系统在自然性与互动性方面的差异？
• RQ4 哪些具体的社交策略最有效地提升推荐成功率与对话质量？

主要发现

• 策略增强模型的困惑度（8.93 vs. 9.28）更低，BLEU-4得分（6.63 vs. 5.11）更高，表明生成质量更优。
• 在人工评估中，参与者在流畅性、一致性、自然性、说服力和互动性五个维度上均更偏好策略增强模型。
• 模型间最显著的感知差异体现在互动性，其次是自然性，表明社交策略能有效增强用户参与度。
• 仅使用“鼓励”策略的模型表现最佳，优于如“鼓励 + 相似性”等组合策略。
• 基于BERT的推荐意图分类器在从话语中检测推荐意图时，准确率达95.4%，F1得分为91.2%。