[论文解读] MoTiAC: Multi-Objective Actor-Critics for Real-Time Bidding

Zhou, Haolin, Chaoqi Yang+4 more|arXiv (Cornell University)|Feb 18, 2020

Auction Theory and Applications参考文献 23被引用 6

一句话总结

MoTiAC 提出了一种用于展示广告实时竞价的多目标演员-critic 强化学习框架，支持基于先前一致性自适应加权目标的、跨目标特定智能体的异步学习。该方法实现了帕累托最优性，并在腾迅工业数据集上优于基线模型，平均提升投资回报率（ROI）2.7% 和收入4.2%。

ABSTRACT

Online Real-Time Bidding (RTB) is a complex auction game among which advertisers struggle to bid for ad impressions when a user request occurs. Considering display cost, Return on Investment (ROI), and other influential Key Performance Indicators (KPIs), large ad platforms try to balance the trade-off among various goals in dynamics. To address the challenge, we propose a Multi-ObjecTive Actor-Critics algorithm based on reinforcement learning (RL), named MoTiAC, for the problem of bidding optimization with various goals. In MoTiAC, objective-specific agents update the global network asynchronously with different goals and perspectives, leading to a robust bidding policy. Unlike previous RL models, the proposed MoTiAC can simultaneously fulfill multi-objective tasks in complicated bidding environments. In addition, we mathematically prove that our model will converge to Pareto optimality. Finally, experiments on a large-scale real-world commercial dataset from Tencent verify the effectiveness of MoTiAC versus a set of recent approaches

研究动机与目标

• 解决实时展示广告中动态多目标竞价的挑战，其中预算约束与ROI最大化并存。
• 克服仅关注收入或ROI的单目标强化学习模型的局限性，这些模型无法平衡相互竞争的关键绩效指标（KPI）。
• 通过从历史先验中学习并动态调整目标权重，构建一种支持稳健、自适应竞价策略的框架。
• 在非平稳、时变的实时竞价（RTB）环境中，确保多目标优化收敛至帕累托最优。
• 在腾迅广告平台的大规模真实商业数据集上验证模型，以证明其工业适用性。

提出的方法

• 将异步优势演员-critic（A3C）框架适配为支持多个目标特定的演员-critic 网络，这些网络与同一环境交互。
• 使用目标感知智能体异步更新全局策略网络，每个智能体由针对特定KPI（如成本控制、ROI、收入）量身定制的奖励信号引导。
• 基于智能体的先验知识与当前状态之间的一致性，引入目标的自适应加权，替代固定的线性组合。
• 将多目标强化学习问题建模为具有多个奖励函数的马尔可夫决策过程（MDP），以实现长期效用最大化。
• 数学上证明，在所提出的学习动态下，MoTiAC 可收敛至帕累托最优解。
• 利用历史数据预训练先验知识，以增强在动态环境中策略的泛化能力。

实验结果

研究问题

• RQ1 多目标强化学习框架能否在实时竞价的动态、非平稳条件下，有效平衡预算控制与ROI等相互竞争的KPI？
• RQ2 基于先验一致性的目标自适应加权，相较于固定或静态线性组合，如何提升竞价策略的性能？
• RQ3 MoTiAC在帕累托最优性与真实世界性能指标方面，相较于单目标和多目标基线模型，其性能提升程度如何？
• RQ4 MoTiAC的长期探索策略与PID等贪婪、短视方法相比，在长期维持高ROI和收入方面表现如何？
• RQ5 该模型在复杂、工业规模的RTB环境中是否保持鲁棒性并收敛至帕累托最优？

主要发现

• 与基线PID模型相比，MoTiAC在测试的各次广告活动中，平均实现2.7%更高的ROI和4.2%更高的收入。
• 在24小时内，MoTiAC在累计ROI和收入方面均优于PID，表明其在长期战略规划方面优于贪婪的短期优化。
• 在贝叶斯优先级设置下，目标权重基于先验一致性自适应设定，性能优于其他策略，尤其在动态环境中表现突出。
• MoTiAC的ROI曲线呈现持续上升趋势，而PID的曲线早期达到峰值后下降，表明MoTiAC具备维持探索能力并避免过早收敛的优势。
• 实验结果证实，MoTiAC在多目标强化学习框架下收敛至帕累托最优解，与理论证明一致。
• 在高转化率广告的案例研究中，即使在短期内偏离即时收益，MoTiAC仍能维持更高收入并实现更优的ROI平衡。