[论文解读] A Text-based Deep Reinforcement Learning Framework for Interactive Recommendation

Chaoyang Wang, Zhiqiang Guo+3 more|arXiv (Cornell University)|Apr 14, 2020

Recommender Systems and Techniques参考文献 30被引用 8

一句话总结

该论文提出TDDPG-Rec，一种基于文本的深度强化学习框架，利用预训练词嵌入缓解数据稀疏性问题，并通过在用户聚类后的动作候选集上动态学习策略向量，实现高效、高性能的Top-k交互式推荐。该方法在现有基于强化学习的推荐方法中实现了SOTA性能，且显著提升了效率。

ABSTRACT

Due to its nature of learning from dynamic interactions and planning for long-run performance, reinforcement learning (RL) recently has received much attention in interactive recommender systems (IRSs). IRSs usually face the large discrete action space problem, which makes most of the existing RL-based recommendation methods inefficient. Moreover, data sparsity is another challenging problem that most IRSs are confronted with. While the textual information like reviews and descriptions is less sensitive to sparsity, existing RL-based recommendation methods either neglect or are not suitable for incorporating textual information. To address these two problems, in this paper, we propose a Text-based Deep Deterministic Policy Gradient framework (TDDPG-Rec) for IRSs. Specifically, we leverage textual information to map items and users into a feature space, which greatly alleviates the sparsity problem. Moreover, we design an effective method to construct an action candidate set. By the policy vector dynamically learned from TDDPG-Rec that expresses the user's preference, we can select actions from the candidate set effectively. Through experiments on three public datasets, we demonstrate that TDDPG-Rec achieves state-of-the-art performance over several baselines in a time-efficient manner.

研究动机与目标

• 解决交互式推荐系统（IRSs）中大规模离散动作空间和数据稀疏性问题。
• 通过降低决策时间复杂度，提升基于强化学习的推荐效率。
• 有效将文本信息（如评论、描述）整合到IRSs的深度强化学习中。
• 通过策略向量与动作候选集的结合，实现高性能且时间高效的Top-k推荐。

提出的方法

• 利用预训练词向量将用户和物品映射到共享的连续特征空间，降低数据稀疏性。
• 应用K-means聚类根据用户偏好模式对用户进行分组，支持个性化候选集构建。
• 基于协同过滤原理构建动作候选集，包括根据用户历史记录和聚类归属关系的正样本、负样本和普通项目。
• 采用深度确定性策略梯度（DDPG）框架，并结合动态学习的策略向量，以在特征空间中表示用户偏好。
• 通过策略向量与项目向量的点积，从候选集中选择Top-k项目进行推荐。
• 由于在线训练计算成本过高，使用模拟器进行离线训练与评估。

实验结果

研究问题

• RQ1 能否有效将文本信息整合到深度强化学习中以缓解交互式推荐中的数据稀疏性？
• RQ2 如何高效管理IRSs中的大规模离散动作空间，以提升决策速度？
• RQ3 从DDPG中学习到的策略向量是否能有效在连续特征空间中表示用户偏好，以支持Top-k推荐？
• RQ4 将用户聚类与候选集结合，是否能同时提升效率与推荐准确率？

主要发现

• 在三个公开数据集上，TDDPG-Rec在HR@10和nDCG@10指标上均达到SOTA性能，优于现有的基于强化学习的基线方法。
• 通过使用候选集和策略向量，模型显著降低了决策时间复杂度，在效率上优于DDPG-kNN和TPGR。
• 随着特征空间维度（D）和聚类数（n_cl）的增加，性能提升，表明更好的表征学习与用户区分能力。
• 随着候选集大小（n_c）的增加，性能因采样不平衡而下降；而正样本比例（α）的提升则使性能提高至饱和点。
• 状态大小（n_s）对性能影响较小，而动作大小（n_a）的增加因带来更频繁的状态转移而提升了性能。