[论文解读] Estimating the number and effect sizes of non-null hypotheses

Jennifer Brennan, Ramya Korlakai Vinayak+1 more|arXiv (Cornell University)|Feb 17, 2020

Statistical Methods in Clinical Trials参考文献 36被引用 4

一句话总结

该论文提出了一种计算高效、保守的估计方法，用于在多重假设检验设置下，通过最小规模的预实验估计非零假设的数量及其效应大小。通过利用经验累积分布函数（CDF）周围的$ε$-球，并最小化超过阈值$\gamma$的置信质量，该方法以高概率保证发现数的保守估计，从而实现仅需远少于全规模实验的样本数即可完成最优实验设计。

ABSTRACT

We study the problem of estimating the distribution of effect sizes (the mean of the test statistic under the alternate hypothesis) in a multiple testing setting. Knowing this distribution allows us to calculate the power (type II error) of any experimental design. We show that it is possible to estimate this distribution using an inexpensive pilot experiment, which takes significantly fewer samples than would be required by an experiment that identified the discoveries. Our estimator can be used to guarantee the number of discoveries that will be made using a given experimental design in a future experiment. We prove that this simple and computationally efficient estimator enjoys a number of favorable theoretical properties, and demonstrate its effectiveness on data from a gene knockout experiment on influenza inhibition in Drosophila.

研究动机与目标

• 解决在效应大小未知时，设计具有保证统计功效的实验的挑战。
• 利用小规模、低成本的预实验估计多个假设中效应大小的分布。
• 提供一种保守估计量，确保不会高估给定效应大小阈值以上的发现数量。
• 通过理论保证，实现成本（重复次数）与发现产量之间的实验设计权衡。
• 开发一种在真实世界应用（如基因敲除研究）中计算高效且统计稳健的方法。

提出的方法

• 估计量在检验统计量的经验累积分布函数（CDF）周围构建一个$\ell_\infty$球，以定义一组可能的分布。
• 在该球内寻找使超过给定阈值$\gamma$的概率质量最小的分布，以确保估计的保守性。
• 通过在单位区间上进行二分查找来计算下界估计量$\widehat{\zeta}_n(\gamma)$，并在每一步使用假设检验验证质量阈值。
• 该算法依赖凸优化（通过CVXPY和ECOS实现）高效求解约束最小化问题。
• 估计量被设计为以高概率满足$\widehat{\zeta}_n(\gamma) \leq \zeta_{\nu_*}(\gamma)$，确保不会高估发现数。
• 该方法应用于正态、泊松和二项分布的检验统计量，并在果蝇流感基因敲除的真实数据上进行了验证。

实验结果

研究问题

• RQ1 我们能否使用远少于全规模发现所需样本数的样本，来估计效应大小超过阈值$\gamma$的非零假设数量？
• RQ2 如何设计一种保守估计量，确保不会高估发现数，同时保持计算效率？
• RQ3 该估计量在有限样本下的准确性可提供哪些理论保证？
• RQ4 与插补法及其他基线方法相比，该估计量在保守性和准确性方面表现如何？
• RQ5 该估计量能否通过平衡成本（重复次数）与发现产量，指导实验设计？

主要发现

• 所提出的估计量为超过阈值$\gamma$的假设比例提供了有限样本的上下界，确保了统计可靠性。
• 该估计量具有可证明的保守性：随着样本量增加，$\mathbb{P}(\widehat{\zeta}_n(\gamma) > \zeta_{\nu_*}(\gamma)) \to 0$，从而保证不会高估发现数。
• 随着样本量$n$增加，该方法的准确性优于基线估计量，而基线估计量的性能不会随数据增多而提升。
• 在$n=100,000$样本的模拟中，即使在信噪比较低的条件下，该估计量仍能紧密跟踪真实$\zeta_*$，且无高估现象。
• 理论分析表明，任何在区间$A_\varepsilon$上实现精度$\varepsilon$的估计量，至少需要$n \gtrsim 1/(\varepsilon^2 \gamma_*^4)$个样本，从而建立了样本复杂度的下限。
• 该方法成功应用于果蝇基因敲除实验的真实数据，展示了其在实验设计中的实际应用价值。