[论文解读] Beyond the Sharp Null: Randomization Inference, Bounded Null Hypotheses, and Confidence Intervals for Maximum Effects

Devin Caughey, Allan Dafoe+1 more|arXiv (Cornell University)|Sep 21, 2017

Advanced Causal Inference Techniques参考文献 21被引用 8

一句话总结

本文通过证明在所有处理效应被限制在某一阈值以内（即有界原假设）时，效应增强型检验统计量仍能提供有效的推断，将随机化推断从严格的零效应原假设扩展至更具实际意义的有界原假设，从而实现了对最大和最小效应的精确单侧置信区间。该方法利用如均值差或Stephenson等级和等统计量进行置换检验，在小样本中无需参数假设即可实现稳健的非参数推断。

ABSTRACT

Fisherian randomization inference is often dismissed as testing an uninteresting and implausible hypothesis: the sharp null of no effects whatsoever. We show that this view is overly narrow. Many randomization tests are also valid under a more general "bounded" null hypothesis under which all effects are weakly negative (or positive), thus accommodating heterogenous effects. By inverting such tests we can form one-sided confidence intervals for the maximum (or minimum) effect. These properties hold for all effect-increasing test statistics, which include both common statistics such as the mean difference and uncommon ones such as Stephenson rank statistics. The latter's sensitivity to extreme effects permits detection of positive effects even when the average effect is negative. We argue that bounded nulls are often of substantive or theoretical interest, and illustrate with two applications: testing monotonicity in an IV analysis and inferring effect sizes in a small randomized experiment.

研究动机与目标

• 为回应随机化推断仅适用于所有单位效应均为零的不切实际的严格原假设这一批评。
• 证明在所有单位效应被限制为不超过某一常数的有界原假设下，使用效应增强型检验统计量的随机化检验仍具有效性。
• 通过反演这些有界原假设检验，构建最大（或最小）处理效应的精确非参数置信区间。
• 表明常用统计量（如均值差）以及较不常见的统计量（如Stephenson等级和）均为效应增强型，从而支持稳健推断。
• 通过在单调性检验和小规模随机实验中的应用，说明该方法的实际价值，因为在这些情境中平均效应可能具有误导性。

提出的方法

• 定义一个有界原假设，即所有单位处理效应 τ_i ≤ τ⁰（或 ≥ τ⁰），从而推广严格原假设。
• 使用效应增强型检验统计量——即当处理组结果上升、对照组结果下降时，统计量随之增加——以确保在有界原假设下保持有效性。
• 通过测试一系列有界原假设 τ⁰ 来反演随机化检验，从而构建最大或最小效应的单侧置信区间。
• 将该方法应用于常见统计量（如均值差）和较不常见的统计量（如Stephenson等级和），这些统计量对极端效应敏感。
• 在稳定单位处理值（SUTVA）和随机分配的假设下，推导出精确置信区间，无需参数模型或渐近近似。
• 利用观测数据，根据结果的理论范围（例如，对于得票率为 [-100, 100]）来界定最大可能处理效应的边界。

实验结果

研究问题

• RQ1 随机化推断能否超越严格原假设，扩展至更具实质性意义的有界原假设？
• RQ2 在检验有界原假设而非严格原假设时，随机化检验在何种条件下仍具有效性？
• RQ3 能否通过反演有界原假设检验来构建最大或最小处理效应的单侧置信区间？
• RQ4 效应增强型检验统计量（如Stephenson等级和）如何在异质处理效应情境中提升对极端效应的检测能力？
• RQ5 在小样本实验中，当平均效应可能无信息量时，该方法的实际影响是什么？

主要发现

• 使用效应增强型检验统计量的随机化检验在有界原假设下（如对所有 i 有 τ_i ≤ τ⁰）仍具有效性，从而将其实用性从严格原假设扩展至更广泛的情境。
• 通过反演有界原假设下的随机化检验，可构建最大处理效应的单侧置信区间，实现精确推断。
• 在Wantchekon（2003）实验中，最大效应的90%单侧置信区间的下限为+1.0分，80%置信区间的下限为+2.0分。
• 最大效应的上限受结果范围的约束，理论最大值为+93.0分。
• 最小效应的80%置信区间为[-86.0, -11.1]，最大效应的80%置信区间为[+2.0, +93.0]，表明处理效应存在显著异质性。
• 最小效应与最大效应的80%置信区间互不重叠，表明政策处理同时产生了正向和负向效应，且效应大小差异显著。