[论文解读] Reinforcement learning based recommender systems: A survey

M. Mehdi Afsar, Trafford Crump+1 more|arXiv (Cornell University)|Jan 15, 2021

Recommender Systems and Techniques被引用 8

一句话总结

本综述对基于强化学习的推荐系统（RLRS）提供了全面的概述，将其分类为传统强化学习与深度强化学习（DRL）方法。提出一个四部分框架——状态表征、策略优化、奖励设计与环境构建，并分析了关键算法、挑战与趋势，强调DRL在提升推荐系统的可扩展性与长期用户参与度方面的变革性影响。

ABSTRACT

Recommender systems (RSs) have become an inseparable part of our everyday lives. They help us find our favorite items to purchase, our friends on social networks, and our favorite movies to watch. Traditionally, the recommendation problem was considered to be a classification or prediction problem, but it is now widely agreed that formulating it as a sequential decision problem can better reflect the user-system interaction. Therefore, it can be formulated as a Markov decision process (MDP) and be solved by reinforcement learning (RL) algorithms. Unlike traditional recommendation methods, including collaborative filtering and content-based filtering, RL is able to handle the sequential, dynamic user-system interaction and to take into account the long-term user engagement. Although the idea of using RL for recommendation is not new and has been around for about two decades, it was not very practical, mainly because of scalability problems of traditional RL algorithms. However, a new trend has emerged in the field since the introduction of deep reinforcement learning (DRL), which made it possible to apply RL to the recommendation problem with large state and action spaces. In this paper, a survey on reinforcement learning based recommender systems (RLRSs) is presented. Our aim is to present an outlook on the field and to provide the reader with a fairly complete knowledge of key concepts of the field. We first recognize and illustrate that RLRSs can be generally classified into RL- and DRL-based methods. Then, we propose an RLRS framework with four components, i.e., state representation, policy optimization, reward formulation, and environment building, and survey RLRS algorithms accordingly. We highlight emerging topics and depict important trends using various graphs and tables. Finally, we discuss important aspects and challenges that can be addressed in the future.

研究动机与目标

• 提供截至2018年的基于强化学习的推荐系统（RLRS）的全面、最新概述。
• 将RLRS方法分类为基于强化学习与基于深度强化学习的方法，突出深度学习驱动的转变。
• 提出一个结构化的四部分框架（状态表征、策略优化、奖励设计、环境构建），以系统化分析RLRS。
• 识别关键挑战，如缺乏领域特定的评估指标、公开数据集有限以及代码可复现性低。
• 通过概述RLRS中的新兴趋势与开放问题，为未来研究提供指导，包括模拟器开发与算法选择

提出的方法

• 提出一个四部分框架用于RLRS：状态表征、策略优化、奖励设计与环境构建。
• 将现有RLRS方法分为两大类：传统基于强化学习的方法与基于深度强化学习（DRL）的方法。
• 通过详细表格与对比分析，分析RLRS算法，重点关注状态表征技术、策略学习方法（如Q-learning、DQN、PPO）与奖励塑造策略。
• 利用对97篇调研论文的文献计量分析，追踪出版趋势、会议与期刊分布及出版类型（如arXiv、会议、期刊）。
• 使用流行度评估指标（如精确率、召回率）、常用数据集（如MovieLens）与代码共享率等指标，评估该领域的现状。
• 提出需要一个标准化、通用的RLRS模拟环境，类似于OpenAI Gym，以提升可复现性与离线评估能力

实验结果

研究问题

• RQ1 与传统强化学习相比，深度强化学习（DRL）方法如何改变了基于强化学习的推荐系统格局？
• RQ2 一个稳健的RLRS框架的关键组成部分是什么？它们如何影响系统性能与设计？
• RQ3 为何RLRS中缺乏领域特定的评估指标？这对模型比较与基准测试有何影响？
• RQ4 RLRS研究中可复现性与泛化性的主要挑战是什么？如何缓解这些问题？
• RQ5 公开数据集与模拟环境在推动RLRS发展中的作用是什么？需要哪些改进？

主要发现

• 深度强化学习（DRL）的出现显著推动了RLRS的发展，通过支持大规模状态空间与动作空间的可扩展解决方案，克服了传统强化学习在可扩展性方面的先前局限。
• MovieLens是RLRS研究中最广泛使用的数据集，但仅有约16%的研究人员共享其代码实现，表明该领域可复现性较低。
• 缺乏专为RLRS设计的评估指标；大多数指标借用自信息检索领域，且奖励机制虽常用但尚未标准化。
• 尽管已有如Recogym与PyRecGym等新兴工具，该领域仍缺乏统一的、通用的RLRS模拟环境，凸显了对基准测试标准的迫切需求。
• 尽管自2015年以来出版趋势持续上升，显示出日益增长的兴趣，但RLRS仍处于起步阶段，面临算法选择、奖励设计与环境建模等方面的显著挑战。
• 该综述识别出一个研究空白：即对为何某些强化学习算法（如Q-learning）在RLRS应用中比其他算法更受欢迎的理解不足，提示需要对算法与应用场景的匹配性进行系统性分析。