[论文解读] Adjusting for selection bias in testing multiple families of hypotheses

Yoav Benjamini, Marina Bogomolov|arXiv (Cornell University)|Jun 18, 2011

Statistical Methods in Clinical Trials参考文献 24被引用 10

一句话总结

本文提出一种通用方法，用于在基于数据选择检验家族后，校正多重检验中的选择偏差。该方法引入一种数据驱动的阈值调整程序，通过在每个选定家族内调整显著性水平，控制选定家族的平均错误率，确保在包括FWER、FDR和广义错误率在内的广泛错误率类别下，即使在选择后也能保持错误率控制。

ABSTRACT

In many large multiple testing problems the hypotheses are divided into families. Given the data, families with evidence for true discoveries are selected, and hypotheses within them are tested. Neither controlling the error-rate in each family separately nor controlling the error-rate over all hypotheses together can assure that an error-rate is controlled in the selected families. We formulate this concern about selective inference in its generality, for a very wide class of error-rates and for any selection criterion, and present an adjustment of the testing level inside the selected families that retains the average error-rate over the selected families.

研究动机与目标

• 解决在基于数据选择家族后进行个体检验时，多重检验中的选择偏差挑战。
• 在涵盖FWER、FDR和广义错误率等广泛错误率类别的通用框架下，形式化选择性推断问题。
• 提出一种方法，即使选择是基于数据而非预先指定，也能控制选定家族的平均错误率。
• 确保错误率控制不仅在所有家族上边际成立，而且在选择后条件性地保留在选定家族内部。

提出的方法

• 将错误率形式化为随机错误度量的期望 $ E(\mathcal{C}) $，涵盖FWER、FDR、FDX和 $k$-FWER/$k$-FDR。
• 通过从所有家族的p值顺序统计量中导出的临界值，引入每个选定家族内显著性水平的数据驱动调整。
• 定义联合事件 $ C_k^{(i)} \cap B_{r_i}^{(ij)}[k] $，表示家族 $i$ 中第 $k$ 次拒绝以及p值分布中的第 $r_i$ 个顺序统计量，以建模选择与检验之间的依赖性。
• 利用p值在原假设下的PRDS（正向回归依赖）性质，建立条件概率的随机单调性。
• 构建事件 $ A_s^{(ij)} $ 的并集，以表示跨家族和p值的累积拒绝模式，从而实现错误概率的递归界定。
• 通过归纳法和单调性论证，证明在临界阈值上的条件概率之和有界于1，从而确保整体错误率在水平 $ q $ 内受控。

实验结果

研究问题

• RQ1 当选择规则依赖于用于检验的同一数据时，能否在选定家族上保持错误率控制？
• RQ2 是否可能通过调整选定家族内的显著性水平，来维持平均错误率，即使家族是基于发现证据被选择的？
• RQ3 在多重家族的选择性推断背景下，如何控制广义错误率类 $ E(\mathcal{C}) $？
• RQ4 在PRDS假设下，数据依赖选择后调整检验阈值的理论基础是什么？
• RQ5 该方法能否扩展以处理复杂层次或多重因子检验结构，如fMRI或GWAS研究中的情况？

主要发现

• 所提出的方法即使在基于数据驱动标准进行选择时，也能成功控制选定家族的平均错误率。
• 在每个选定家族内调整显著性水平，可确保期望错误度量 $ E(\mathcal{C}) $ 保持在名义水平 $ q $ 以内，即使存在选择偏差。
• 该方法在p值的PRDS假设下有效，该假设在许多实际场景中成立，包括正态分布和置换模型。
• 证明依赖于涉及条件拒绝事件概率的递归不等式，该不等式在随机单调性下成立。
• 建立了界限 $ \sum_{t=1}^{mm_i} \sum_{(k,r_i)\in I_t} \text{Pr}(C_k^{(i)}, B_{r_i}^{(ij)}[k] \mid P_{ij} \leq tq/(mm_i)) \leq 1 $，确保全局错误控制。
• 该方法可推广至广泛错误率类别，包括FWER、FDR、FDX和 $k$-FWER，使其在各类统计检验框架中具有广泛适用性。