[论文解读] A nonparametric Bayesian analysis of heterogeneous treatment effects in digital experimentation

Matt Taddy, Matt Gardner+2 more|arXiv (Cornell University)|Dec 30, 2014

Advanced Causal Inference Techniques参考文献 48被引用 8

一句话总结

本文提出了一种可扩展的贝叶斯非参数框架，用于在大规模数字实验中估计异质处理效应（HTE），采用灵活的模型（如回归树和森林）在不依赖强参数假设的前提下量化不确定性。结果表明，贝叶斯森林能为HTE提供可靠的不确定性量化，关键发现显示：更活跃用户的后验不确定性增加，且在大样本设定下，线性调整对方差的减少可忽略不计。

ABSTRACT

Randomized controlled trials play an important role in how Internet companies predict the impact of policy decisions and product changes. In these `digital experiments', different units (people, devices, products) respond differently to the treatment. This article presents a fast and scalable Bayesian nonparametric analysis of such heterogeneous treatment effects and their measurement in relation to observable covariates. New results and algorithms are provided for quantifying the uncertainty associated with treatment effect measurement via both linear projections and nonlinear regression trees (CART and Random Forests). For linear projections, our inference strategy leads to results that are mostly in agreement with those from the frequentist literature. We find that linear regression adjustment of treatment effect averages (i.e., post-stratification) can provide some variance reduction, but that this reduction will be vanishingly small in the low-signal and large-sample setting of digital experiments. For regression trees, we provide uncertainty quantification for the machine learning algorithms that are commonly applied in tree-fitting. We argue that practitioners should look to ensembles of trees (forests) rather than individual trees in their analysis. The ideas are applied on and illustrated through an example experiment involving 21 million unique users of EBay.com.

研究动机与目标

• 开发一种快速、可扩展的贝叶斯非参数方法，用于在大规模数字实验中估计异质处理效应。
• 在不依赖参数假设的前提下，量化由CART和随机森林等机器学习工具得出的处理效应估计的不确定性。
• 通过将统计工具的选择与潜在的数据生成过程解耦，为A/B测试实践者提供实用指导。
• 在包含超过2100万用户的现实世界eBay实验中展示该方法，表明后验分布能够捕捉HTE预测中的不确定性。
• 比较线性调整与非参数树基模型在低信号、大样本数字实验设定下的表现。

提出的方法

• 该方法采用无分布假设的贝叶斯非参数方法，其中数据生成过程（DGP）通过观测样本的狄利克雷-多项式模型灵活建模。
• 通过自助抽样算法进行后验推断，以从DGP中抽样，从而在不使用计算密集型MCMC的情况下实现高效的不确定性量化。
• 对于回归树和森林，利用树结构和分割点的后验分布，在每个协变量取值处生成处理效应预测的分布。
• 该方法将感兴趣的统计量（如条件平均处理效应）与DGP模型解耦，使从业者能够保留现有的分析流程。
• 关键输出包括通过从后验DGP中重复抽样计算得到的个体和群体层面处理效应的后验均值与可信区间。
• 该方法适用于线性投影（如带协变量的OLS）和非线性模型（如CART和随机森林），不确定性通过基于集成的后验抽样进行量化。

实验结果

研究问题

• RQ1 在处理效应极小的大型数字实验中，如何可靠地量化异质处理效应的不确定性？
• RQ2 在低信号、大样本条件下，线性回归调整在处理效应估计中能多大程度减少方差？
• RQ3 贝叶斯非参数方法能否为A/B测试中的机器学习工具（如回归树和森林）提供有效的不确定性量化？
• RQ4 基于过去消费金额或购买频率等协变量定义的用户子群中，处理效应的后验不确定性如何变化？
• RQ5 在数字实验中，使用集成森林与单棵决策树进行HTE估计的实际影响是什么？

主要发现

• 在包含超过2100万用户的eBay实验中，线性回归调整仅带来微不足道的方差减少，证实此类调整在大样本、低信号设定下收益有限。
• 更活跃用户的处理效应后验不确定性显著增加，该结果通过前期消费金额和购买频率衡量，表明该群体的HTE估计变异性更高。
• 贝叶斯森林为处理效应预测提供了完整的后验分布，使基于新用户协变量的不确定性量化成为可能。
• 通过后验均值和可信区间计算的条件平均处理效应表现出显著偏态，尤其在高消费用户群体中更为明显。
• 5周内总体平均处理效应的后验均值约为0.0015，标准差为0.0003，表明尽管效应极小，仍具有高度精度。
• 该方法通过基于自助抽样的后验抽样策略成功避免了MCMC的计算负担，实现了对大规模数据集的可扩展性。