[论文解读] Deep Reinforcement Learning for Online Advertising in Recommender Systems

Xiangyu Zhao, Changsheng Gu+4 more|arXiv (Cornell University)|Sep 9, 2019

Reinforcement Learning in Robotics参考文献 46被引用 12

一句话总结

本文提出了一种深度强化学习框架，联合优化推荐列表中的广告插入决策、广告选择及投放位置，以平衡广告收入与用户体验。通过定制的深度Q网络，该模型动态最大化长期奖励，在真实世界数据上表现出色。

ABSTRACT

With the recent prevalence of Reinforcement Learning (RL), there have been tremendous interests in utilizing RL for online advertising in recommendation platforms (e.g. e-commerce and news feed sites). However, most RL-based advertising algorithms focus on solely optimizing the revenue of ads while ignoring possible negative influence of ads on user experience of recommended items (products, articles and videos). Developing an optimal advertising algorithm in recommendations faces immense challenges because interpolating ads improperly or too frequently may decrease user experience, while interpolating fewer ads will reduce the advertising revenue. Thus, in this paper, we propose a novel advertising strategy for the rec/ads trade-off. To be specific, we develop a reinforcement learning based framework that can continuously update its advertising strategies and maximize reward in the long run. Given a recommendation list, we design a novel Deep Q-network architecture that can determine three internally related tasks jointly, i.e., (i) whether to interpolate an ad or not in the recommendation list, and if yes, (ii) the optimal ad and (iii) the optimal location to interpolate. The experimental results based on real-world data demonstrate the effectiveness of the proposed framework.

研究动机与目标

• 解决推荐系统中广告收入与用户体验之间的权衡问题。
• 开发一种能够实时适应用户交互的动态广告策略。
• 联合优化三个相互依赖的任务：广告插入决策、广告选择与投放位置。
• 通过平衡短期广告收入与长期用户满意度，最大化长期奖励。
• 利用推荐平台的真实世界数据验证该框架。

提出的方法

• 设计了一种新颖的深度Q网络（DQN）架构，以处理广告插入、选择与投放位置的联合优化。
• DQN智能体观察当前的推荐列表，并采取动作以决定是否插入广告、选择哪则广告以及将其放置在何处。
• 智能体的动作空间包含所有可能的广告插入决策、广告选择与列表中位置的组合。
• 奖励函数被设计为同时反映即时广告收入与长期用户参与度，从而捕捉收入与用户体验之间的权衡。
• 该框架使用深度Q学习，根据用户反馈与交互结果持续更新策略。
• 该模型在真实世界数据上端到端训练，以随时间学习最优广告策略。

实验结果

研究问题

• RQ1 强化学习框架如何有效平衡推荐系统中的广告收入与用户体验？
• RQ2 联合优化广告插入、选择与投放位置对长期系统性能有何影响？
• RQ3 基于DQN的智能体能否学习到优于启发式或固定策略的广告决策？
• RQ4 该模型在具有复杂用户行为与动态内容的真实世界环境中表现如何？
• RQ5 各组件（插入、选择、投放位置）对整体奖励的相对贡献是什么？

主要发现

• 所提出的DRL框架相较于仅优化收入的基线方法，显著提升了长期奖励。
• 联合优化插入、选择与投放位置可带来更好的用户体验并实现更高的持续参与度。
• 该模型学会避免过度插入广告，从而在保持高收入的同时降低对用户满意度的负面影响。
• 该框架在多种真实世界的推荐场景中表现出稳健性能。
• 基于DQN的方法在广告收入与用户留存指标上均实现了可衡量的提升。
• 消融实验确认，插入、选择与投放位置三个组件均对整体性能有显著贡献。