[论文解读] Contextual Multi-Armed Bandits for Causal Marketing

Neela Sawant, Chitti Babu Namballa+2 more|arXiv (Cornell University)|Oct 2, 2018

Advanced Bandit Algorithms Research参考文献 25被引用 10

一句话总结

本文提出了一种上下文多臂赌博机框架，通过使用反事实推理估计并最大化因果（增量）处理效应，优化营销活动的受众定位。通过结合Thompson采样与基于KNN的CATE估计，该方法优于非因果基线模型，在排名前1%的客户中实现了高达209个单位的业务指标提升。

ABSTRACT

This work explores the idea of a causal contextual multi-armed bandit approach to automated marketing, where we estimate and optimize the causal (incremental) effects. Focusing on causal effect leads to better return on investment (ROI) by targeting only the persuadable customers who wouldn't have taken the action organically. Our approach draws on strengths of causal inference, uplift modeling, and multi-armed bandits. It optimizes on causal treatment effects rather than pure outcome, and incorporates counterfactual generation within data collection. Following uplift modeling results, we optimize over the incremental business metric. Multi-armed bandit methods allow us to scale to multiple treatments and to perform off-policy policy evaluation on logged data. The Thompson sampling strategy in particular enables exploration of treatments on similar customer contexts and materialization of counterfactual outcomes. Preliminary offline experiments on a retail Fashion marketing dataset show merits of our proposal.

研究动机与目标

• 解决传统营销模型仅针对观测结果进行优化而非因果（增量）效应所导致的低效问题。
• 通过仅针对'可说服'客户（即在无干预情况下不会采取行动的客户）进行投放，提升投资回报率。
• 利用多臂赌博机与日志数据上的离策略评估，实现实时、可扩展的活动优化。
• 在数据收集过程中引入反事实生成，以估计真实的因果效应。
• 使用真实世界时尚营销数据集，通过提升度量指标评估该方法的性能。

提出的方法

• 采用Rubin因果模型，将条件平均处理效应（CATE）定义为 𝜏(𝐱) = 𝔼[Y(1) − Y(0)|X = 𝐱]。
• 应用Thompson采样对处理进行概率性探索，从而在每个客户情境下实现反事实结果的显现。
• 采用K近邻（KNN）方法，通过比较不同活动下相似客户的产出，估计CATE。
• 使用变换结果建模方法，创建CATE的无偏估计量，从而实现对增量效应的直接回归。
• 整合多臂赌博机，实现多活动的可扩展性，并在历史日志数据上执行离策略评估。
• 优化增量业务指标而非原始结果，聚焦于真实的因果影响。

实验结果

研究问题

• RQ1 上下文多臂赌博机框架能否有效估计并优化营销中的因果（增量）处理效应？
• RQ2 通过Thompson采样进行反事实估计，相较于非因果模型，如何提升活动定位效果？
• RQ3 与两模型方法相比，基于KNN的CATE估计在提升预测中的性能增益如何？
• RQ4 该方法在支持多活动时，如何保持因果准确性并实现离策略评估？
• RQ5 与优化观测结果相比，优化增量效应在多大程度上提升了投资回报率？

主要发现

• 因果赌博机模型在前1%客户中实现了209单位的业务指标提升，而非因果模型为108单位。
• 在排名前10%的人群中，因果模型实现了74单位的提升，优于非因果模型的70单位。
• 基于KNN的CATE估计器始终优于两模型方法，尤其在人群前10%中表现更优，提升更稳定且更高。
• 提升曲线显示，因果模型在所有分位数中均占主导地位，尤其在最具可转化性的群体中实现了最大的增量收益。
• 在整个群体中，因果模型实现了28.2单位的增量提升，而非因果模型为26.7单位。
• 结果表明，聚焦于因果效应可显著提升投资回报率，通过仅针对营销真正影响其行为的客户进行投放。