[论文解读] Control of Generalized Error Rates in Multiple Testing

Joseph P. Romano, Michael Wolf|Zurich Open Repository and Archive (University of Zurich)|May 1, 2005

Statistical Methods in Clinical Trials参考文献 30被引用 106

一句话总结

本文提出基于重采样的程序以控制多重假设检验中的广义错误率，包括k-FWER（至少k次错误拒绝的概率）和FDP（错误发现比例）。通过自展法和子采样方法，作者开发了考虑检验统计量之间依赖关系的逐步向下程序，实现在无需子集关键性假设下的渐近错误率控制，从而在基因组学等高维设置中提升检验效能。

ABSTRACT

Consider the problem of testing $s$ hypotheses simultaneously. The usual approach restricts attention to procedures that control the probability of even one false rejection, the familywise error rate (FWER). If $s$ is large, one might be willing to tolerate more than one false rejection, thereby increasing the ability of the procedure to correctly reject false null hypotheses. One possibility is to replace control of the FWER by control of the probability of $k$ or more false rejections, which is called the $k$-FWER. We derive both single-step and step-down procedures that control the $k$-FWER in finite samples or asymptotically, depending on the situation. We also consider the false discovery proportion (FDP) defined as the number of false rejections divided by the total number of rejections (and defined to be 0 if there are no rejections). The false discovery rate proposed by Benjamini and Hochberg [J. Roy. Statist. Soc. Ser. B 57 (1995) 289--300] controls $E(FDP)$. Here, the goal is to construct methods which satisfy, for a given $γ$ and $α$, $P\{FDP>γ\}\le α$, at least asymptotically. In contrast to the proposals of Lehmann and Romano [Ann. Statist. 33 (2005) 1138--1154], we construct methods that implicitly take into account the dependence structure of the individual test statistics in order to further increase the ability to detect false null hypotheses. This feature is also shared by related work of van der Laan, Dudoit and Pollard [Stat. Appl. Genet. Mol. Biol. 3 (2004) article 15], but our methodology is quite different. Like the work of Pollard and van der Laan [Proc. 2003 International Multi-Conference in Computer Science and Engineering, METMBS'03 Conference (2003) 3--9] and Dudoit, van der Laan and Pollard [Stat. Appl. Genet. Mol. Biol. 3 (2004) article 13], we employ resampling methods to achieve our goals. Some simulations compare finite sample performance to currently available methods.

研究动机与目标

• 开发在弱依赖假设下计算上可行的程序，以控制多重检验中的广义错误率。
• 通过允许可控水平的错误拒绝，将控制范围从传统的家庭错误率（FWER）扩展，以提升统计效能。
• 通过基于重采样的方法整合检验统计量之间的依赖结构，弥补现有方法的局限性。
• 为k-FWER和错误发现比例超过阈值γ的概率提供渐近控制。
• 为FDR与FWER控制提供一种实用的替代方案，以在高维推断中平衡第一类与第二类错误的权衡。

提出的方法

• 使用自展法和子采样法估计原假设下检验统计量的联合分布，从而实现临界值的精确计算。
• 采用k-最大值统计量，识别真实原假设中第k大的检验统计量，作为k-FWER控制的基础。
• 应用逐步向下程序，根据有序检验统计量和重采样得到的临界值，依次拒绝原假设。
• 提出一种新颖的FDP控制算法，根据自展法对错误发现比例的估计，动态调整拒绝阈值。
• 依赖渐近理论和U-统计量论证，以证明基于重采样的临界值的有效性。
• 避免其他方法所需的子集关键性假设，从而增强在依赖检验统计量中的适用性。

实验结果

研究问题

• RQ1 基于重采样的程序是否能在弱依赖假设下，于有限样本或渐近意义上控制k-FWER？
• RQ2 错误发现比例（FDP）能否实现渐近控制，使得P(FDP > γ) ≤ α，其中γ ∈ [0,1)为用户指定的值？
• RQ3 如何利用检验统计量之间的依赖结构，在不违反错误率控制的前提下提升多重检验程序的效能？
• RQ4 所提出的逐步向下程序在效能和错误率控制方面是否优于现有的单步法或FDR控制方法？
• RQ5 所提出的方法对违反子集关键性条件的依赖结构是否具有鲁棒性？

主要发现

• 所提出的逐步向下程序在弱正则性条件下实现了k-FWER的渐近控制，且无需子集关键性假设。
• 该方法对任意γ ∈ [0,1)实现了P(FDP > γ) ≤ α的渐近控制，为FDR控制提供了更具弹性的替代方案。
• 模拟结果表明，与现有方法相比，该方法在检验统计量存在依赖时表现出更高的效能。
• k-FWER程序在k上具有单调性：增加k会导致更多拒绝，这支持了FDP控制算法的有效性。
• 理论依据基于子采样和U-统计量理论，确保在一般依赖结构下的渐近有效性。
• 附录中的反例表明，[33]中相关方法在所有原假设均为真时，甚至无法渐近控制FDP，凸显了本方法的创新性与必要性。