[论文解读] Learning to Advertise with Adaptive Exposure via Constrained Two-Level Reinforcement Learning.

Weixun Wang, Junqi Jin+9 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Bandit Algorithms Research参考文献 21被引用 3

一句话总结

本文提出了一种约束型两级强化学习框架，用于电子商务中的自适应广告曝光，通过将广告位分配与广告选择解耦，并利用基于状态的约束马尔可夫决策过程（per-state constrained MDP）强制执行查询级和每日级约束。该方法通过一种新颖的约束型事后经验回放机制，在真实数据上验证了其在提升广告收入的同时，实现了更高的训练稳定性和速度。

ABSTRACT

For online advertising in e-commerce, the traditional problem is to assign the right ad to the right user on fixed ad slots. In this paper, we investigate the problem of advertising with adaptive exposure, in which the number of ad slots and their locations can dynamically change over time based on their relative scores with recommendation products. In order to maintain user retention and long-term revenue, there are two types of constraints that need to be met in exposure: query-level and day-level constraints. We model this problem as constrained markov decision process with per-state constraint (psCMDP) and propose a constrained two-level reinforcement learning to decouple the original advertising exposure optimization problem into two relatively independent sub-optimization problems. We also propose a constrained hindsight experience replay mechanism to accelerate the policy training process. Experimental results show that our method can improve the advertising revenue while satisfying different levels of constraints under the real-world datasets. Besides, the proposal of constrained hindsight experience replay mechanism can significantly improve the training speed and the stability of policy performance.

研究动机与目标

• 为解决电子商务广告中动态广告位分配与投放的问题，其中广告位数量和位置根据商品评分自适应调整。
• 通过在广告曝光上施加两类约束（查询级，即每次搜索查询；每日级，即每天）来维持用户留存和长期收入。
• 将自适应广告曝光问题建模为基于状态的约束马尔可夫决策过程（psCMDP），以实现对约束的精确处理。
• 将复杂的优化问题解耦为两个独立的子优化问题，以提升训练效率和策略稳定性。
• 通过一种新颖的约束型事后经验回放机制，加速策略训练并提升性能稳定性。

提出的方法

• 将自适应广告曝光问题建模为基于状态的约束马尔可夫决策过程（psCMDP），在状态层面强制执行约束。
• 将原始问题分解为两个独立的子优化任务：(1) 基于商品评分的广告位选择，(2) 每个广告位的广告选择。
• 应用约束型两级强化学习，分别优化两个子问题，同时保持约束合规性。
• 引入一种约束型事后经验回放机制，通过约束感知采样存储并重放历史经验，以提升数据效率。
• 采用双优化方法处理约束，确保策略更新不会违反查询级或每日级曝光限制。
• 利用离策略学习结合优先经验回放，并在回放采样过程中增强约束验证，以稳定训练。

实验结果

研究问题

• RQ1 两级强化学习框架能否有效解耦自适应广告曝光中的广告位分配与广告选择？
• RQ2 所提出的方法在满足查询级和每日级曝光约束的前提下，能否有效维持用户留存和长期收入？
• RQ3 约束型事后经验回放机制在多大程度上提升了训练速度和策略性能的稳定性？
• RQ4 在不同约束水平下，该方法在真实世界电子商务数据集上相较于基线方法的表现如何？
• RQ5 psCMDP建模是否相比标准无约束强化学习方法，能实现更好的约束遵守和优化效率？

主要发现

• 所提方法在严格满足查询级和每日级曝光约束的前提下，相比基线方法显著提升了广告收入。
• 约束型两级强化学习框架成功实现了优化问题的解耦，从而实现了更稳定高效的训练。
• 约束型事后经验回放机制显著加速了策略训练，并提升了策略性能的稳定性。
• 在真实世界电子商务数据集上的实验结果表明，该方法在不同约束水平下均实现了收入和约束合规性的持续提升。
• 即使在严格的约束条件下，该方法仍保持高性能，表明其在真实部署场景中具备出色的鲁棒性和可扩展性。