[论文解读] Conversational Recommender System

Yueming Sun, Yi Zhang|arXiv (Cornell University)|Jun 8, 2018

Recommender Systems and Techniques参考文献 7被引用 7

一句话总结

本文提出了一种统一的深度强化学习框架，将对话系统与推荐系统相结合，构建对话式推荐智能体。通过动态、半结构化的属性-值查询建模用户偏好，并利用策略网络优化会话级效用，该系统在仿真和在线用户研究中均优于基线方法，在更少轮次内实现更高的转化率。

ABSTRACT

A personalized conversational sales agent could have much commercial potential. E-commerce companies such as Amazon, eBay, JD, Alibaba etc. are piloting such kind of agents with their users. However, the research on this topic is very limited and existing solutions are either based on single round adhoc search engine or traditional multi round dialog system. They usually only utilize user inputs in the current session, ignoring users' long term preferences. On the other hand, it is well known that sales conversion rate can be greatly improved based on recommender systems, which learn user preferences based on past purchasing behavior and optimize business oriented metrics such as conversion rate or expected revenue. In this work, we propose to integrate research in dialog systems and recommender systems into a novel and unified deep reinforcement learning framework to build a personalized conversational recommendation agent that optimizes a per session based utility function.

研究动机与目标

• 解决现有对话智能体忽略长期用户偏好、仅依赖单轮或任务特定对话的缺陷。
• 将个性化推荐模型与对话系统整合，以提升用户满意度及转化率、收入等业务指标。
• 开发基于强化学习的对话策略，根据当前及历史用户数据动态决定何时询问偏好或进行推荐。
• 将用户状态建模为通过信念追踪实时分析自然语言输入后更新的半结构化属性-值对查询。
• 通过仿真环境与真实在线用户研究评估该框架，证明其在实际部署中的有效性。

提出的方法

• 将用户对话历史表示为由信念追踪在每轮对话中动态更新的半结构化用户查询，由属性-值对组成。
• 为对话管理器设计特定任务的动作空间，包括请求属性值（如价格范围、位置）或进行产品推荐的动作。
• 使用强化学习训练深度策略网络，以选择能最大化会话级效用函数的动作，平衡信息收集与推荐时机。
• 集成个性化推荐模型，利用用户的长期评分历史与实时对话上下文进行预测。
• 通过去标识化用户话语并生成合成对话轨迹，使用模拟用户交互预训练信念追踪模块。
• 基于推荐成功率指标（如命中率、轮次数、推荐质量）定义奖励函数，并在整个对话会话中进行优化。

实验结果

研究问题

• RQ1 与孤立方法相比，结合对话系统与推荐系统的统一框架是否能提升对话式推荐性能？
• RQ2 在对话管理中引入长期用户偏好，对推荐准确率与用户满意度有何影响？
• RQ3 在多轮对话中，信息收集与及时推荐之间的最优平衡点是什么？
• RQ4 基于会话的奖励函数，强化学习在多大程度上能提升转化率与交互时长等关键指标？
• RQ5 在真实世界用户研究中，该方法与基于规则或非个性化基线方法相比表现如何？

主要发现

• 所提出的对话式推荐模型（CRM）在在线用户研究中取得了28.85%的成功率，显著高于MaxEnt Full基线方法的22.12%。
• CRM将平均轮次数减少至3.79，而MaxEnt Full方法为4.58，表明交互更高效。
• CRM平均仅收集3–4个属性后即做出推荐，而MaxEnt Full方法需收集全部5个属性后才推荐，体现出更快的决策能力。
• 在仿真环境中，CRM实现了更高的命中率，并更优地优化了会话级效用函数，证实其能有效降低用户负担。
• 系统表明，将长期用户偏好与实时对话上下文结合，可实现更准确、更及时的推荐。
• 结果表明，精心设计奖励函数的强化学习使智能体能够学习信息收集与推荐投放之间的最优权衡。