[论文解读] Deep Reinforcement Learning-Based Product Recommender for Online Advertising

Milad Vaali Esfahaani, Yanbo Xue+1 more|arXiv (Cornell University)|Jan 30, 2021

Reinforcement Learning in Robotics参考文献 25被引用 4

一句话总结

本文提出并比较了深度强化学习（DRL）方法——特别是DQN和策略梯度（PG）——在RecoGym环境中用于在线广告推荐系统。通过整合LSTM网络以建模用户行为的序列性，并采用Huber损失函数以提升稳定性，PG方法在收敛速度、点击率（CTR）和方差降低方面优于DQN，尤其在高维用户-物品空间中表现更优。

ABSTRACT

In online advertising, recommender systems try to propose items from a list of products to potential customers according to their interests. Such systems have been increasingly deployed in E-commerce due to the rapid growth of information technology and availability of large datasets. The ever-increasing progress in the field of artificial intelligence has provided powerful tools for dealing with such real-life problems. Deep reinforcement learning (RL) that deploys deep neural networks as universal function approximators can be viewed as a valid approach for design and implementation of recommender systems. This paper provides a comparative study between value-based and policy-based deep RL algorithms for designing recommender systems for online advertising. The RecoGym environment is adopted for training these RL-based recommender systems, where the long short term memory (LSTM) is deployed to build value and policy networks in these two approaches, respectively. LSTM is used to take account of the key role that order plays in the sequence of item observations by users. The designed recommender systems aim at maximising the click-through rate (CTR) for the recommended items. Finally, guidelines are provided for choosing proper RL algorithms for different scenarios that the recommender system is expected to handle.

研究动机与目标

• 设计并评估基于深度强化学习的推荐系统，用于在线广告，以最大化点击率（CTR）。
• 研究基于值函数（DQN）与基于策略（PG）的深度强化学习算法在序列推荐场景中的有效性。
• 考察在值网络与策略网络中引入LSTM以建模用户交互时间顺序的影响。
• 为基于用户-物品空间规模选择DQN与PG提供实用指导。
• 通过在DQN框架中集成Huber损失函数，提升训练稳定性和性能。

提出的方法

• 采用RecoGym环境作为模拟平台，用于在在线广告场景中训练和评估DRL智能体。
• 通过将原始神经网络替换为长短期记忆（LSTM）网络作为值网络，对DQN架构进行修改，以捕捉用户行为中的序列依赖关系。
• 在DQN训练过程中使用Huber损失函数，以增强鲁棒性并降低训练方差。
• 采用基于LSTM的策略网络实现策略梯度（PG）方法，通过Softmax层输出动作概率，并使用分类交叉熵损失进行策略优化。
• 训练DQN与PG智能体，以在交互回合中最大化累积CTR，模拟实时推荐决策过程。
• 通过用户与物品数量的对数尺度绘图生成性能区域轮廓图，以根据系统规模指导算法选择。

实验结果

研究问题

• RQ1 在在线广告推荐系统中，基于值函数（DQN）与基于策略（PG）的深度强化学习算法在收敛速度与CTR性能方面如何比较？
• RQ2 将LSTM集成到DQN与PG网络中，通过建模用户交互的序列顺序，能在多大程度上提升性能？
• RQ3 使用Huber损失函数对基于DQN的推荐系统训练稳定性与方差有何影响？
• RQ4 在典型大规模电商平台的高维状态/动作空间中，DQN与PG哪种深度强化学习算法表现更优？
• RQ5 在不同规模的用户与物品数量下，DQN与PG之间的性能权衡如何？这些权衡如何指导算法选择？

主要发现

• 基于PG的推荐系统收敛速度优于DQN，CTR波动显著减少，方差更低，尤其在10,000名用户与10,000件商品的大规模环境中表现更优。
• 基于LSTM的DQN在收敛速度、稳定性和性能方面优于基于CNN的DQN，尤其在更大的动作空间中，得益于对用户行为序列性的更好建模。
• PG算法在所有测试规模（100、1,000与10,000名用户与商品）下均实现了更高的最终CTR，并展现出比DQN更稳定的训练动态。
• 性能区域轮廓图显示，DQN更适合低维状态/动作空间，而PG更适合高维空间。
• 将Huber损失函数集成到DQN中，提升了训练稳定性并降低了CTR的方差，从而实现了更可靠的训练过程。
• 在值网络与策略网络中均使用LSTM，有效捕捉了用户交互的时间顺序，增强了模型从序列观测模式中学习的能力。