[论文解读] Bounding Approaches for Generalization

Wendy Chan|arXiv (Cornell University)|Nov 2, 2017

Advanced Causal Inference Techniques被引用 2

一句话总结

本文提出一种边界估计方法，通过利用单调样本选择，在不依赖随机抽样的情况下提升随机实验的泛化能力，该方法部分识别总体参数并得出一组合理的取值范围。通过倾向得分分层，该方法进一步收紧边界，在模拟实验和一项教育技术集群随机试验中的应用均显示出更高的精度。

ABSTRACT

Statisticians have recently developed propensity score methods to improve generalizations from randomized experiments that do not employ random sampling. However, these methods require strong and often controversial assumptions, which affect the validity and credibility of inferences. This article considers an alternative assumption, monotone sample selection, that partially identifies the population parameter, yielding a range of plausible values in place of a point estimate. We illustrate how this assumption bounds the parameter of interest and investigate the extent to which the bounds are informative. We also explore how the bounds can be tightened using stratification with propensity scores. We conduct a simulation study to examine the types of covariates that yield the largest precision gain. We apply the bounding approach to a completed cluster randomized trial on an educational technology aid.

研究动机与目标

• 解决倾向得分方法在从随机实验推广时依赖强假设（通常具有争议性）的局限性。
• 提出一种基于单调样本选择的替代识别策略，得到总体参数的边界而非点估计。
• 研究这些边界的信息量有多高，以及如何通过倾向得分分层来收紧边界。
• 通过模拟研究不同协变量对边界精度的影响。
• 将边界方法应用于一项真实的教育技术集群随机试验。

提出的方法

• 施加单调样本选择假设，即被纳入样本的概率随未观测异质性增加而上升，从而实现对总体参数的部分识别。
• 通过利用单调性约束推导总体平均处理效应的边界，得到一组合理的取值范围，而非单一的点估计。
• 使用倾向得分对样本进行分层，降低层内方差，从而收紧对感兴趣参数的边界。
• 采用模拟研究评估不同协变量对边界宽度的影响，以及分层带来的精度提升。
• 将边界框架应用于一项已完成的教育技术援助集群随机试验，验证其在实际中的可行性。

实验结果

研究问题

• RQ1 在不依赖强参数假设的前提下，基于单调样本选择假设所推导的边界有多大的信息量？
• RQ2 倾向得分分层在多大程度上能缩小边界的宽度并提高精度？
• RQ3 哪些类型的协变量能在边界估计中带来最大的精度提升？
• RQ4 该边界方法在真实世界的集群随机试验环境中表现如何？

主要发现

• 单调样本选择假设可产生对总体参数的有信息量的边界，在强假设下提供了可信的点估计替代方案。
• 倾向得分分层显著收紧了边界，缩小了其宽度，提升了边界估计的精度。
• 对样本选择具有强预测力的协变量在边界估计中带来最大的精度增益。
• 模拟研究证实，协变量的选择显著影响边界的有用性，预测能力强的变量最为有效。
• 在教育技术试验的应用中，边界方法为处理效应提供了一个合理的取值范围，展示了其在真实场景中的实用价值。