[论文解读] A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions

Xiaocong Chen, Lina Yao+3 more|arXiv (Cornell University)|Sep 8, 2021

Reinforcement Learning in Robotics参考文献 134被引用 20

一句话总结

本综述对推荐系统中的深度强化学习（DRL）进行了全面、系统的回顾，对现有方法进行分类，分析其优势与局限性，并识别出新兴趋势与开放性挑战。该综述提出了一套统一的分类体系，突出介绍了A2C、TD3和SAC等关键DRL算法，并为推进交互式、动态推荐系统指明了未来研究方向。

ABSTRACT

In light of the emergence of deep reinforcement learning (DRL) in recommender systems research and several fruitful results in recent years, this survey aims to provide a timely and comprehensive overview of the recent trends of deep reinforcement learning in recommender systems. We start with the motivation of applying DRL in recommender systems. Then, we provide a taxonomy of current DRL-based recommender systems and a summary of existing methods. We discuss emerging topics and open issues, and provide our perspective on advancing the domain. This survey serves as introductory material for readers from academia and industry into the topic and identifies notable opportunities for further research.

研究动机与目标

• 为推荐系统中深度强化学习（DRL）的应用提供及时且系统的概述，弥补现有综述在DRL特定技术方面深度不足的空白。
• 解决传统基于深度学习的推荐系统在捕捉动态用户偏好方面的局限性，这些局限性源于分布漂移和静态训练数据。
• 通过一种新颖且结构化的分类体系，对现有的DRL推荐系统进行分类与分析，以明确方法论差异与设计选择。
• 识别出如离线DRL、元-DRL及演员-critic改进等新兴主题，并强调在泛化能力、探索机制和实际部署方面存在的开放性问题。
• 通过概述有前景的未来研究方向，为研究人员和实践者提供指导，包括提升泛化能力、样本效率以及在动态环境中的鲁棒性。

提出的方法

• 提出了一种基于DRL的推荐系统分类体系，依据环境构建方式、状态表征方法和策略学习机制对方法进行分类。
• 回顾了核心DRL算法，包括优势行动者-评论家（A2C）、双延迟深度确定性策略梯度（TD3）、信任域策略优化（TRPO）、近端策略优化（PPO）和软演员-评论家（SAC），强调其在稳定训练和提升样本效率方面的作用。
• 分析了离线DRL（批量DRL）作为一种无需在线交互即可从历史交互数据中进行训练的方法，使其能够泛化到新场景。
• 探讨了元-DRL，其利用记忆单元（如RNN）在不同任务间存储并迁移知识，从而减少数据需求并提升少样本适应能力。
• 研究了优势函数与熵正则化（如SAC中所用）在策略学习中平衡探索与利用的作用。
• 整合了异策略与同策略训练范式的见解，比较其在不同数据可得性和交互约束条件下对推荐任务的适用性。

实验结果

研究问题

• RQ1 如何有效利用深度强化学习建模随时间演变的动态用户偏好，以克服静态训练数据中的分布漂移问题？
• RQ2 哪些关键的架构与算法组件能够区分成功的DRL推荐系统？它们如何提升性能与稳定性？
• RQ3 离线DRL与元-DRL方法如何在缺乏或仅有极少实时交互的推荐系统中提升泛化能力与样本效率？
• RQ4 在将DRL应用于真实推荐系统时，主要挑战是什么，特别是探索-利用权衡、策略稳定性与可扩展性方面？
• RQ5 在鲁棒性、可解释性以及工业场景部署方面，哪些未来研究方向最有可能推动DRL推荐系统的进一步发展？

主要发现

• 本综述首次提供了对推荐系统中DRL的全面且系统的回顾，提出了结构化的分类体系，并对现有方法进行了系统分类。
• 演员-评论家方法（如A2C、TD3、PPO和SAC）相比基础策略梯度方法，在训练稳定性和样本效率方面有显著提升。
• 离线DRL使模型能够从大规模历史数据中进行训练而无需在线交互，因此特别适用于实时部署成本高或风险大的工业应用场景。
• 元-DRL通过利用记忆机制在任务间迁移知识，在少样本适应方面展现出潜力，从而降低对数据的依赖。
• SAC中采用的熵正则化增强了探索能力，使其在稀疏奖励环境或复杂动作空间中尤为有效。
• 尽管已取得进展，但在处理分布漂移、确保策略泛化能力以及实现在真实动态推荐场景中的鲁棒性能方面，仍存在诸多挑战。