[论文解读] Combining observational and experimental data to find heterogeneous treatment effects

Alexander Peysakhovich, Akos Lada|arXiv (Cornell University)|Nov 8, 2016

Advanced Causal Inference Techniques参考文献 3被引用 17

一句话总结

本文提出了一种方法，通过结合观察性数据与实验性数据，更高效地估计异质处理效应。通过利用观察性数据预测相对处理效应排序，并使用较小的实验数据集验证这些预测，该方法在保持统计功效的同时减少了所需的实验样本量，如在一次真实的 Facebook 页面推荐 A/B 测试中所验证的那样。

ABSTRACT

Every design choice will have different effects on different units. However traditional A/B tests are often underpowered to identify these heterogeneous effects. This is especially true when the set of unit-level attributes is high-dimensional and our priors are weak about which particular covariates are important. However, there are often observational data sets available that are orders of magnitude larger. We propose a method to combine these two data sources to estimate heterogeneous treatment effects. First, we use observational time series data to estimate a mapping from covariates to unit-level effects. These estimates are likely biased but under some conditions the bias preserves unit-level relative rank orderings. If these conditions hold, we only need sufficient experimental data to identify a monotonic, one-dimensional transformation from observationally predicted treatment effects to real treatment effects. This reduces power demands greatly and makes the detection of heterogeneous effects much easier. As an application, we show how our method can be used to improve Facebook page recommendations.

研究动机与目标

• 解决在高维协变量和弱先验条件下，由于实验数据统计功效不足而难以识别异质处理效应的挑战。
• 利用大规模观察性数据作为实验处理效应估计的预测先验。
• 通过使用观察性估计对单位按预期处理效应进行排序，减少 A/B 测试中所需的样本量。
• 验证在合理假设下，观察性预测能够保持真实处理效应相对排序的特性。
• 在实际产品个性化场景（Facebook 页面推荐）中展示该方法的实用价值。

提出的方法

• 使用时间序列观察性数据，估计从个体协变量到预测处理效应的映射，记为 $ \mathbb{E}(\hat{\beta} \mid c) $。
• 假设在特定数据生成过程假设下，观察性估计能保持真实处理效应的相对排序。
• 使用较小的实验数据集，识别从观察性预测到实际处理效应的单调、一维变换。
• 应用该变换将观察性预测校准为可用于异质效应检测的可用估计值。
• 在标准异质处理效应估计方法（如因果森林、回归模型）中，将观察性预测的处理效应作为特征进行整合。
• 通过将实验结果对处理指示变量、预测效应及其交互项进行回归，验证该方法，确认交互项显著（p < .01）。

实验结果

研究问题

• RQ1 大规模观察性数据是否能提升在小样本实验研究中对异质处理效应的检测能力？
• RQ2 在何种条件下，观察性估计能保持真实个体处理效应的相对排序？
• RQ3 结合观察性预测与实验数据，是否能减少检测异质效应所需的实验样本量？
• RQ4 在真实产品场景中，观察性预测与实际实验处理效应的相关性如何？
• RQ5 在异质处理效应模型中添加观察性预测作为特征会产生何种影响？

主要发现

• 观察性预测处理效应与实际实验处理效应之间存在统计显著的单调关系，经分层分析与回归分析确认（p < .01）。
• 处理虚拟变量与预测处理效应之间的交互项高度显著，表明预测效应较高的单位确实表现出更大的实际处理效应。
• 该方法通过利用大规模观察性数据为实验分析提供信息，显著降低了检测异质效应的统计功效需求。
• 当协变量空间本身已为高维时，将观察性预测作为特征加入实验模型对模型复杂度的影响可忽略不计。
• 在一次真实的 Facebook 页面推荐 A/B 测试中，观察性数据提供了有用的先验，提升了异质效应估计的精度。
• 只要偏差不破坏处理效应的个体排序，该方法对观察性估计中的偏差具有鲁棒性。