[论文解读] Adapting Neural Networks for Uplift Models

Mouloud Belbahri, Olivier Gandouet+1 more|arXiv (Cornell University)|Oct 30, 2020

Advanced Causal Inference Techniques参考文献 31被引用 5

一句话总结

本文提出 SMITE，一种用于提升建模的新型神经网络框架，通过联合优化条件均值回归与变换结果回归，提升预测精度并减少过拟合。通过统一这些目标，SMITE 在合成数据与真实世界数据上均达到最先进性能，显著优于现有的树基方法与神经网络方法。

ABSTRACT

Uplift is a particular case of individual treatment effect modeling. Such models deal with cause-and-effect inference for a specific factor, such as a marketing intervention. In practice, these models are built on customer data who purchased products or services to improve product marketing. Uplift is estimated using either i) conditional mean regression or ii) transformed outcome regression. Most existing approaches are adaptations of classification and regression trees for the uplift case. However, in practice, these conventional approaches are prone to overfitting. Here we propose a new method using neural networks. This representation allows to jointly optimize the difference in conditional means and the transformed outcome losses. As a consequence, the model not only estimates the uplift, but also ensures consistency in predicting the outcome. We focus on fully randomized experiments, which is the case of our data. We show our proposed method improves the state-of-the-art on synthetic and real data.

研究动机与目标

• 为解决现有提升建模方法中常见的过拟合问题，特别是树基方法与神经网络方法中的问题。
• 开发一种统一框架，同时优化提升估计与结果预测的一致性。
• 通过平衡直接提升估计与一致的结果预测，提升泛化性能。
• 提供一种灵活的神经网络架构，支持提升建模的替代损失函数。
• 在合成数据与一家加拿大公司的真实世界保险数据集上验证该方法。

提出的方法

• 所提出的 SMITE 框架采用一种神经网络架构，联合最小化两种损失函数：条件均值差异（提升）与变换结果回归损失。
• 提出一种统一的优化目标，平衡个体处理效应的估计与治疗组与对照组潜在结果的预测。
• 使用反向传播进行端到端训练，采用自定义损失函数结合两种回归目标，以确保结果预测的一致性。
• 该方法专为完全随机实验设计，利用潜在结果与处理分配之间的条件独立性。
• 引入标准 MSE 损失的替代方案，通过神经网络的表征学习实现提升的间接估计。
• 该架构灵活且可扩展，未来可适应观察性数据与多种处理设置。

实验结果

研究问题

• RQ1 神经网络框架能否联合优化提升估计与结果预测，以减少过拟合？
• RQ2 结合条件均值回归与变换结果回归是否能提升提升建模中的泛化性能？
• RQ3 SMITE 框架在合成数据与真实世界数据上相较于最先进树基与神经网络方法表现如何？
• RQ4 统一的优化目标是否能提升不同数据分布下提升预测的稳定性和准确性？
• RQ5 使用替代损失函数对模型识别可说服客户与不应打扰客户群体的能力有何影响？

主要发现

• 在 n=10,000 个样本与 p=100 个协变量的合成数据上，SMITE (IE) 在 q 指标上的验证集表现达到 2.80 ± 0.12，显著优于 Causal Forest (H) 的 2.05 ± 0.13。
• 在自助法半合成数据（n=7,000，p=40）上，SMITE (IE) 的验证集 ρ 达到 0.34 ± 0.06，优于 SMITE (TO) 的 0.27 ± 0.07 与 Causal Forest (H) 的 0.08 ± 0.11。
• 在真实世界保险数据集上，SMITE (IE) 在识别高提升客户方面表现更优，其预测提升分布远离零点，并覆盖更具实际意义的范围。
• 与标准差异均值神经网络相比，SMITE 框架减少了过拟合，后者表现出提升估计方差增加与围绕零点更宽、更集中的分布。
• SMITE (IE) 在所有评估指标与数据集上均持续优于所有基线方法，包括 Causal Forest 与随机森林变体。
• 结果表明，联合优化提升估计与结果预测可带来更稳定、更准确的提升估计，尤其在高维设置下。