[论文解读] Designing Representative and Balanced Experiments by Local Randomization

Max Cytrynbaum|arXiv (Cornell University)|Jan 1, 2021

Advanced Causal Inference Techniques参考文献 30被引用 4

一句话总结

本文提出了局部随机化（local randomization），这是一种在两阶段实验设置中实现代表性与平衡性实验设计的统一框架。通过利用基线协变量来选择参与者并分配处理，该方法提升了有效样本量，并支持无需模型的回归校正，从而获得更高效的估计量，并实现更紧致的置信区间和渐近精确推断。

ABSTRACT

This paper studies treatment effect estimation in a novel two-stage model of experimentation. In the first stage, using baseline covariates, the researcher selects units to participate in the experiment from a sample of eligible units. Next, they assign each selected unit to one of two treatment arms. We relate estimator efficiency to representative selection of participants and balanced assignment of treatments. We define a new family of local randomization procedures, which can be used for both selection and assignment. This family nests stratified block randomization and matched pairs, the most commonly used designs in practice in development economics, but also produces many useful new designs, embedding them in a unified framework. When used to select representative units into the experiment, local randomization boosts effective sample size, making estimators behave as if they were estimated using a larger experiment. When used for treatment assignment, local randomization does model-free non-parametric regression adjustment by design. We give novel asymptotically exact inference methods for locally randomized selection and assignment, allowing experimenters to report smaller confidence intervals if they designed a representative experiment. We apply our methods to the setting of two-wave design, where the researcher has access to a pilot study when designing the main experiment. We use local randomization methods to give the first fully efficient solution to this problem.

研究动机与目标

• 解决在基于基线协变量选择与分配单位的实验设计中效率低下且缺乏代表性的问题。
• 将分层区块随机化与配对设计等常见设计统一于一个选择与分配的单一框架之中。
• 通过代表性选择增加有效样本量，从而提高估计量效率。
• 通过设计实现无需模型的非参数回归校正。
• 开发渐近精确推断方法，当实验设计具有代表性时，可获得更紧致的置信区间。

提出的方法

• 提出一族基于基线协变量定义局部邻域以实现选择与分配的局部随机化程序。
• 基于协变量空间中的接近程度定义选择与分配规则，确保代表性与平衡性。
• 将分层区块随机化与配对设计作为局部随机化框架中的特例嵌入其中。
• 通过设计实现非参数回归校正，无需事后建模。
• 推导出在局部随机化下选择与分配的渐近精确推断程序。
• 将该框架应用于两波设计，其中试点数据用于指导主实验的选择与分配。

实验结果

研究问题

• RQ1 如何改进实验设计，以确保所选单位能代表目标总体，同时保持处理组间的平衡？
• RQ2 何种统一框架能够整合现有流行设计（如配对设计与区块随机化），并支持新型高效替代方案？
• RQ3 局部随机化在多大程度上能增加有效样本量并提升估计量效率？
• RQ4 如何通过局部随机化设计实现无需模型的回归校正？
• RQ5 能否为局部随机化选择与分配开发渐近精确推断方法，从而获得更精确的置信区间？

主要发现

• 局部随机化通过确保代表性选择，增加了有效样本量，使估计量的表现如同来自更大规模实验一般。
• 该方法通过设计实现无需模型的非参数回归校正，消除了对事后建模假设的依赖。
• 在局部随机化下可实现渐近精确推断，使研究者能够报告更小且更可靠的置信区间。
• 该框架为两波设计问题提供了首个完全高效的解决方案，其中试点数据用于指导主实验。
• 局部随机化涵盖了并推广了标准设计（如配对设计与区块随机化），提供了更广泛的高效替代方案。
• 该方法在不依赖潜在结果或选择机制的参数建模的前提下，提升了估计量效率。