[论文解读] A randomization-based perspective of analysis of variance: a test statistic robust to treatment effect heterogeneity

Peng Ding, Tirthankar Dasgupta|arXiv (Cornell University)|Aug 5, 2016

Statistical Methods in Clinical Trials参考文献 35被引用 3

一句话总结

本文提出了一种在完全随机化实验中用于单因素方差分析的稳健 $X^2$ 检验统计量，该统计量在费舍尔的精确零假设下可实现精确的 I 类错误控制，在内曼的较弱零假设（即无平均处理效应）下具有渐近有效性。研究表明，当样本量与结果方差呈负相关时，费舍尔随机化检验中传统的 $F$-统计量在处理效应异质性下可能严重膨胀 I 类错误；而 $X^2$ 统计量通过其对异方差性和非可加性的稳健设计，避免了这一问题。

ABSTRACT

Fisher randomization tests for Neyman's null hypothesis of no average treatment effects are considered in a finite population setting associated with completely randomized experiments with more than two treatments. The consequences of using the $F$ statistic to conduct such a test are examined both theoretically and computationally, and it is argued that under treatment effect heterogeneity, use of the $F$ statistic in the Fisher randomization test can severely inflate the type I error under Neyman's null hypothesis. An alternative test statistic is proposed, its asymptotic distributions under Fisher's and Neyman's null hypotheses are derived, and its advantages demonstrated.

研究动机与目标

• 解决在内曼的零假设（即无平均处理效应）下使用 $F$-统计量时，费舍尔随机化检验中 I 类错误膨胀的问题。
• 开发一种检验统计量，即使在处理效应异质性下，也能在费舍尔的精确零假设下保持精确的 I 类错误控制，并在内曼的零假设下具有渐近有效性。
• 提供一种对各处理组间样本量与结果方差负相关不敏感的 $F$-统计量的稳健替代方案。
• 通过理论分析与模拟研究，证明所提出的 $X^2$ 统计量在异方差和非可加条件下，相较于 $F$-统计量在错误率控制与检验功效方面表现更优。

提出的方法

• 提出一种新的检验统计量 $X^2$，定义于第 5 节，其设计目标是对处理效应异质性不变，并对各处理组间不等方差具有稳健性。
• 推导了在费舍尔的精确零假设和内曼的零假设下 $X^2$ 的渐近分布，确保理论有效性。
• 采用基于随机化的推断框架，其中检验统计量的零分布是在零假设下所有可能的处理分配随机化中计算得出。
• 通过模拟研究，比较在不同样本量、结果分布（如指数分布、对数正态分布）和处理效应结构下，$F$-统计量与 $X^2$ 统计量在原假设与备择假设下的表现。
• 采用蒙特卡洛模拟估计在 $H_0$(Neyman) 下的拒绝率与 $p$-值分布，评估在多种实验设计下的 I 类错误与检验功效。
• 在模拟中将潜在结果标准化为具有相等的有限总体均值与方差，以隔离异方差性和样本量不平衡的影响。

实验结果

研究问题

• RQ1 在存在处理效应异质性时，费舍尔随机化检验中使用 $F$-统计量是否会导致在内曼零假设下的 I 类错误膨胀？
• RQ2 在内曼零假设下，$F$-统计量在何种条件下无法控制随机化检验中的 I 类错误？
• RQ3 能否构造一种新的检验统计量，使其在异方差性和样本量-方差失衡下，仍能在费舍尔的精确零假设下保持精确的 I 类错误控制，并在内曼零假设下具有渐近有效性？
• RQ4 在不同样本量与结果方差配置下，基于 $X^2$ 的检验功效与基于 $F$ 的检验相比如何？

主要发现

• 当样本量与结果方差呈负相关时，费舍尔随机化检验中的 $F$-统计量在内曼零假设下可能严重膨胀 I 类错误，未平衡设计下拒绝率可高达 0.028（$H_0$(Neyman) 下）。
• 所提出的 $X^2$ 统计量在内曼零假设下保持渐近 I 类错误控制，并在费舍尔精确零假设下保持精确大小，即使在处理效应异质性下亦成立。
• 在平衡实验中（如 $N=30$），在潜在结果呈偏态的备择假设下，基于 $X^2$ 的检验功效更高（0.087），高于基于 $F$ 的检验（0.066）。
• 在样本量与方差负相关的非平衡设计中（如 $N_1=30, N_2=20, N_3=10$），基于 $X^2$ 的检验在 $N=60$ 时功效为 0.211，显著高于基于 $F$ 的检验（0.037），表明其具有显著的功效优势。
• 在 $H_0$(Neyman) 下，潜在结果为对数正态分布时，基于 $X^2$ 的检验拒绝率为 0.006–0.016，而基于 $F$ 的检验为 0.015–0.028，证实 $F$ 在有限样本中会膨胀 I 类错误。
• $X^2$ 统计量在同方差性下与 $F$-统计量渐近等价，但在方差与样本量负相关时，其在有限样本中表现优于 $F$-统计量。