[论文解读] Sustainable Online Reinforcement Learning for Auto-bidding

Zhiyu Mou, Yusen Huo+5 more|arXiv (Cornell University)|Oct 13, 2022

Auction Theory and Applications被引用 5

一句话总结

本文提出了一种可持续在线强化学习（SORL）框架，直接在真实世界广告系统（RAS）中训练自动出价策略，解决了离线虚拟系统（VAS）与RAS之间存在的不一致性——即在线与离线不一致性（IBOO）。通过利用Lipschitz平滑Q函数和安全高效探索（SER）策略，SORL实现了与RAS的稳定、安全在线交互，同时通过方差抑制保守Q学习（V-CQL）方法确保了鲁棒的策略学习。真实世界A/B测试表明，SORL优于最先进方法，买量数量提升14.79%，投资回报率（ROI）提升12.90%。

ABSTRACT

Recently, auto-bidding technique has become an essential tool to increase the revenue of advertisers. Facing the complex and ever-changing bidding environments in the real-world advertising system (RAS), state-of-the-art auto-bidding policies usually leverage reinforcement learning (RL) algorithms to generate real-time bids on behalf of the advertisers. Due to safety concerns, it was believed that the RL training process can only be carried out in an offline virtual advertising system (VAS) that is built based on the historical data generated in the RAS. In this paper, we argue that there exists significant gaps between the VAS and RAS, making the RL training process suffer from the problem of inconsistency between online and offline (IBOO). Firstly, we formally define the IBOO and systematically analyze its causes and influences. Then, to avoid the IBOO, we propose a sustainable online RL (SORL) framework that trains the auto-bidding policy by directly interacting with the RAS, instead of learning in the VAS. Specifically, based on our proof of the Lipschitz smooth property of the Q function, we design a safe and efficient online exploration (SER) policy for continuously collecting data from the RAS. Meanwhile, we derive the theoretical lower bound on the safety of the SER policy. We also develop a variance-suppressed conservative Q-learning (V-CQL) method to effectively and stably learn the auto-bidding policy with the collected data. Finally, extensive simulated and real-world experiments validate the superiority of our approach over the state-of-the-art auto-bidding algorithm.

研究动机与目标

• 为解决自动出价中在线与离线系统之间不一致（IBOO）这一关键问题，即离线虚拟广告系统（VAS）无法准确模拟真实世界广告系统（RAS）的运行机制。
• 通过在RAS中实现直接、安全的在线训练，消除VAS训练策略与真实世界部署之间的性能差距。
• 设计一种理论基础坚实的、安全的探索策略，在保证性能的同时最小化在线交互过程中的风险。
• 提出一种稳定、保守的学习方法（V-CQL），有效利用RAS中收集的在线数据进行策略学习。

提出的方法

• 将IBOO正式定义为VAS与RAS之间的差距，主要源于VAS中对级联拍卖架构和静态市场价格的建模不准确。
• 证明RAS中Q函数的Lipschitz平滑性，从而为在线探索提供理论安全保证。
• 设计一种安全高效探索（SER）策略，通过超参数λ（安全）和σ（探索效率）平衡探索与安全性。
• 推导SER策略安全性的理论下界，确保在线交互过程中风险最小化。
• 提出方差抑制保守Q学习（V-CQL），一种稳定的离线强化学习方法，利用在线收集的数据降低方差并提升样本效率。
• 将SER与V-CQL集成至SORL框架中，实现在RAS中持续、安全且高性能的策略训练。

实验结果

研究问题

• RQ1 当在真实世界广告系统（RAS）中部署时，IBOO问题在多大程度上降低了VAS训练的自动出价策略性能？
• RQ2 在RAS中直接进行在线训练是否能够消除IBOO问题，并相较于离线VAS训练提升策略性能？
• RQ3 在高风险、真实世界的广告环境中，哪些理论与算法机制可确保安全且稳定的在线探索？
• RQ4 与标准离线强化学习方法相比，所提出的V-CQL方法在使用在线收集数据时，如何提升学习稳定性和性能？
• RQ5 SORL框架在真实世界A/B测试中是否能实现优于最先进自动出价算法的性能表现？

主要发现

• 在真实世界A/B测试中，与[36]中的多智能体算法相比，SORL实现了14.79%更高的买量数量（BuyCnt）和12.90%更高的投资回报率（ROI），展现出显著的性能提升。
• SORL在所有指标上均优于最先进USCB策略：BuyCnt提升+3.20%，ROI提升+3.75%，CPA降低-3.91%，表明其效率与成本效益更优。
• 在真实世界部署中，SORL框架相较基线多智能体方法，买量数量提升14.79%，投资回报率（ROI）提升12.90%。
• SER策略展现出稳定且安全的探索能力，其理论安全边界通过实证结果得到验证，确保在线训练过程中的风险最小化。
• V-CQL有效抑制了方差，提升了学习稳定性，使基于SER收集的在线数据能够实现可靠策略更新。
• SORL框架成功解决了IBOO问题，证明在RAS中直接进行在线训练不仅可行，而且优于传统的基于离线VAS的训练方式。