[论文解读] An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint

Ziang Yan, Shusen Wang+3 more|arXiv (Cornell University)|Feb 9, 2023

Consumer Market Behavior and Pricing被引用 4

一句话总结

本文提出了一种端到端深度学习框架，通过基于期望结果度量（EOM）的可微正则化器，直接在预算约束下优化营销效果，解决多选0-1背包问题。通过使用有限差分和自然进化策略（NES）等梯度估计技术，模型联合优化处理效应预测与业务目标最大化，在大规模短视频平台上实现了离线和在线A/B测试的显著提升。

ABSTRACT

Online platforms often incentivize consumers to improve user engagement and platform revenue. Since different consumers might respond differently to incentives, individual-level budget allocation is an essential task in marketing campaigns. Recent advances in this field often address the budget allocation problem using a two-stage paradigm: the first stage estimates the individual-level treatment effects using causal inference algorithms, and the second stage invokes integer programming techniques to find the optimal budget allocation solution. Since the objectives of these two stages might not be perfectly aligned, such a two-stage paradigm could hurt the overall marketing effectiveness. In this paper, we propose a novel end-to-end framework to directly optimize the business goal under budget constraints. Our core idea is to construct a regularizer to represent the marketing goal and optimize it efficiently using gradient estimation techniques. As such, the obtained models can learn to maximize the marketing goal directly and precisely. We extensively evaluate our proposed method in both offline and online experiments, and experimental results demonstrate that our method outperforms current state-of-the-art methods. Our proposed method is currently deployed to allocate marketing budgets for hundreds of millions of users on a short video platform and achieves significant business goal improvements. Our code will be publicly available.

研究动机与目标

• 解决两阶段营销优化流程中处理效应估计与预算分配目标之间的错位问题。
• 在统一的端到端框架中，直接在预算约束下优化业务目标（如用户响应率）。
• 使深度神经网络能够从实际的营销结果度量中学习，而非依赖处理效应估计中的代理目标。
• 通过梯度估计方法克服基于整数规划的目标函数在预算分配中的不可微性。
• 在拥有数亿用户的现实短视频平台上大规模部署并验证该方法。

提出的方法

• 将预算分配问题建模为具有用户级处理效应和成本的多选0-1背包问题（MCKP）。
• 利用期望结果度量（EOM）方法构建业务结果期望值的无偏估计量 $Q$。
• 将 $Q$ 作为可微正则化器集成到 S-Learner 神经网络训练目标中，以直接优化营销效果。
• 采用有限差分和自然进化策略（NES）估计非可微 $Q$ 函数的梯度，以支持反向传播。
• 使用超参数 $\lambda$ 平衡预测损失与营销目标正则化项，在联合优化中实现权衡。
• 将该框架应用于真实营销活动，在大规模短视频平台上实现模型的重新训练与部署。

实验结果

研究问题

• RQ1 端到端深度学习框架能否通过直接优化业务目标，在营销预算分配中超越两阶段方法？
• RQ2 如何解决基于整数规划目标函数的不可微性，以实现在营销效果优化中的基于梯度的优化？
• RQ3 不同梯度估计策略（如有限差分与NES）对优化性能与计算成本有何影响？
• RQ4 控制正则化器的超参数 $\lambda$ 如何影响模型在真实部署中的稳定性与性能？
• RQ5 所提出方法能否在大规模平台上实现离线指标与在线A/B测试中的可测量改进？

主要发现

• 在 CRITEO-UPLIFT v2 数据集上，采用有限差分梯度估计的所提方法实现了 0.7904 ± 0.0096 的 AUCC，显著优于先前最先进方法（DRP）的 0.7739 ± 0.0002。
• 采用有限差分梯度估计的方法在 NVIDIA Tesla T4 GPU 上耗时 17.6 小时，而基于 NES 的变体仅用时 4.3 小时，表明存在 4 倍的加速优势，但方差略高。
• 在 KUAISHOU-PRODUCE-COIN 数据集的离线评估中，最优 $\lambda = 200$ 时达到最高的人均响应率，而 $\lambda \geq 500$ 导致训练不稳定，性能劣于 TSM-SL。
• 在在线 A/B 测试中，所提方法实现的人均响应率比 TSM-SL 高 1.24%，人均成本低 0.369%，展现出显著的业务影响。
• 该模型目前已部署于短视频平台，用于为数亿用户分配营销预算，验证了其可扩展性与真实世界有效性。
• 结果表明，通过可微正则化器直接优化业务目标，相比传统两阶段流程，能更好地与真实世界目标对齐。