[论文解读] Deep Reinforcement Learning for Sponsored Search Real-time Bidding

Jun Zhao, Guang Qiu+3 more|arXiv (Cornell University)|Mar 1, 2018

Auction Theory and Applications参考文献 19被引用 9

一句话总结

本文提出了一种用于赞助搜索实时竞价（SS-RTB）的稳健深度强化学习框架RMDP，解决了拍卖动态在不同日期间发生显著变化的非平稳环境挑战。通过在小时粒度上建模竞价行为并采用基于模型的控制方法，该方法提升了广告主的盈利能力，在在线A/B测试中，相较于基线方法，PUR_AMT/COST平均提升35.04%，ROI与CVR指标也取得显著增长。

ABSTRACT

Bidding optimization is one of the most critical problems in online advertising. Sponsored search (SS) auction, due to the randomness of user query behavior and platform nature, usually adopts keyword-level bidding strategies. In contrast, the display advertising (DA), as a relatively simpler scenario for auction, has taken advantage of real-time bidding (RTB) to boost the performance for advertisers. In this paper, we consider the RTB problem in sponsored search auction, named SS-RTB. SS-RTB has a much more complex dynamic environment, due to stochastic user query behavior and more complex bidding policies based on multiple keywords of an ad. Most previous methods for DA cannot be applied. We propose a reinforcement learning (RL) solution for handling the complex dynamic environment. Although some RL methods have been proposed for online advertising, they all fail to address the "environment changing" problem: the state transition probabilities vary between two days. Motivated by the observation that auction sequences of two days share similar transition patterns at a proper aggregation level, we formulate a robust MDP model at hour-aggregation level of the auction data and propose a control-by-model framework for SS-RTB. Rather than generating bid prices directly, we decide a bidding model for impressions of each hour and perform real-time bidding accordingly. We also extend the method to handle the multi-agent problem. We deployed the SS-RTB system in the e-commerce search auction platform of Alibaba. Empirical experiments of offline evaluation and online A/B test demonstrate the effectiveness of our method.

研究动机与目标

• 为解决赞助搜索中实时竞价缺乏有效解决方案的问题，其中拍卖动态高度随机且在不同日期间存在显著差异。
• 克服现有强化学习方法假设环境动态恒定的局限性，这些方法在底层转移概率随日期变化时会失效。
• 设计一种在小时聚合层级上的稳健MDP模型，以捕捉不同日期间一致的转移模式，从而实现稳定策略学习。
• 开发一种基于模型的控制框架，按小时选择竞价模型而非直接生成每条展示的竞价，提升可扩展性与性能。
• 将方法扩展至现实广告平台中的多智能体竞争场景，其中多个广告主同时参与竞价。

提出的方法

• 在小时层级构建稳健的马尔可夫决策过程（RMDP），以聚合拍卖序列并稳定不同日期间的转移模式。
• 使用深度Q网络（DQN）学习竞价策略，基于聚合的拍卖数据和展示特征选择每小时的最优竞价模型。
• 将竞价决策分解为两个阶段：(1) 每小时选择一个竞价模型；(2) 使用该模型执行实时竞价。
• 引入基于模型的控制策略，将策略学习与实时执行解耦，提升对每日环境变化的泛化能力与鲁棒性。
• 通过M-RMDP将框架扩展至多智能体场景，以考虑多个广告主之间的竞争互动。
• 在DQN训练过程中采用带衰减的ε-greedy探索策略，以平衡探索与利用。

实验结果

研究问题

• RQ1 深度强化学习模型能否有效应对赞助搜索实时竞价中的非平稳动态，其中拍卖模式在不同日期间发生显著变化？
• RQ2 与基于展示粒度的建模相比，基于小时粒度的环境建模是否能提升竞价策略的鲁棒性与性能？
• RQ3 基于模型的控制框架（按小时选择竞价模型）是否在长期广告主盈利能力方面优于直接的每展示竞价？
• RQ4 在多个广告主同时参与实时拍卖的多智能体环境中，所提方法表现如何？
• RQ5 与基线竞价策略相比，该方法在PUR_AMT/COST、ROI和CVR等关键性能指标上的提升程度如何？

主要发现

• 在在线A/B测试中，RMDP模型在10个广告上相较关键词竞价（KB）基线，PUR_AMT/COST平均提升35.04%。
• 该模型还使ROI平均提升21.38%，CVR平均提升23.11%，表明其在主目标之外也实现了更广泛的性能增益。
• PPC平均提升5.16%，表明该模型在提升转化与收入的同时有助于降低单次点击成本。
• 在多智能体在线评估中，M-RMDP优于KB与RMDP，PUR_AMT/COST提升13.01%，CVR提升12.62%。
• 收敛性分析表明学习过程稳定：DQN损失在约1.5亿个批次内持续下降，目标指标（PUR_AMT）稳步提升并趋于稳定。
• 结果表明，小时粒度聚合的RMDP模型能有效缓解‘环境变化’问题，实现在非平稳拍卖动态下的稳健策略学习。