[论文解读] AdaPT: An interactive procedure for multiple testing with side information

Lihua Lei, William Fithian|arXiv (Cornell University)|Sep 20, 2016

Statistical Methods in Clinical Trials参考文献 41被引用 12

一句话总结

AdaPT 是一种用于多重检验的交互式、有限样本错误发现率（FDR）控制程序，利用辅助信息（预测变量）自适应地估计最优 p 值拒绝阈值。通过迭代地使用灵活建模和右删失 p 值来优化阈值估计，AdaPT 在保持严格 FDR 控制的同时，相较于传统方法（如 Benjamini-Hochberg）实现了更高的统计功效，且不引入随机性。

ABSTRACT

We consider the problem of multiple hypothesis testing with generic side information: for each hypothesis $H_i$ we observe both a p-value $p_i$ and some predictor $x_i$ encoding contextual information about the hypothesis. For large-scale problems, adaptively focusing power on the more promising hypotheses (those more likely to yield discoveries) can lead to much more powerful multiple testing procedures. We propose a general iterative framework for this problem, called the Adaptive p-value Thresholding (AdaPT) procedure, which adaptively estimates a Bayes-optimal p-value rejection threshold and controls the false discovery rate (FDR) in finite samples. At each iteration of the procedure, the analyst proposes a rejection threshold and observes partially censored p-values, estimates the false discovery proportion (FDP) below the threshold, and either stops to reject or proposes another threshold, until the estimated FDP is below $α$. Our procedure is adaptive in an unusually strong sense, permitting the analyst to use any statistical or machine learning method she chooses to estimate the optimal threshold, and to switch between different models at each iteration as information accrues. We demonstrate the favorable performance of AdaPT by comparing it to state-of-the-art methods in five real applications and two simulation studies.

研究动机与目标

• 解决在假设不交换且存在先验知识的大规模设置中，对灵活且强大多重检验程序的需求。
• 通过支持交互式、数据自适应分析并提供统计有效性保证，克服选择性推断中预设选择算法的局限性。
• 开发一个框架，使分析人员能够使用任何统计或机器学习模型，迭代地优化 p 值拒绝阈值，同时保持有限样本下的 FDR 控制。
• 整合辅助信息（预测变量），将检验功效集中在更有希望的假设上，从而在实际应用中提高发现率。
• 同时提供全局 FDR 控制和个体假设的局部 FDR 估计，提供超越全局错误率的可解释性证据汇总。

提出的方法

• 提出一种迭代框架：在每一步中，分析人员选择一个 p 值阈值，数据仅揭示低于该阈值的 p 值（右删失数据）。
• 在每次迭代中，利用基于观测到的右删失 p 值和预测变量训练的灵活模型，估计当前阈值以下的错误发现比例（FDP）。
• 使用基于鞅的可选停止论证，确保在分析人员跨迭代自适应更新模型时，仍能保持有限样本下的 FDR 控制。
• 允许分析人员使用任何统计或机器学习方法来估计最优阈值，包括在迭代间切换模型。
• 利用每个 p 值与其镜像（1 - p_i）的可交换性，构建有效的统计保证，而无需引入独立的 knockoff 变量。
• 返回一个拒绝列表，控制全局 FDR 在水平 α 之下，以及每个被拒绝假设的个体局部 FDR 估计。

实验结果

研究问题

• RQ1 交互式多重检验程序能否利用辅助信息，显著提升相对于标准 FDR 控制方法的统计功效？
• RQ2 在分析人员基于累积数据更新模型的交互式、自适应框架中，如何保持有限样本下的 FDR 控制？
• RQ3 在实际多重检验问题中，使用灵活的数据驱动模型进行阈值估计，能在多大程度上提升发现率？
• RQ4 AdaPT 与现有方法（如 Knockoff+ 和 Benjamini-Hochberg 程序）在功效和统计保证方面有何关系？
• RQ5 由 AdaPT 衍生的局部 FDR 估计是否能提供比仅依赖全局 FDR 控制更具信息量的证据？在何种假设下其结果是可靠的？

主要发现

• AdaPT 在任意自适应模型更新下均能实现有限样本下的 FDR 控制，即使分析人员在每次迭代中使用不同模型。
• 在五个真实世界应用和两个模拟研究中，AdaPT 在保持 FDR 控制的同时，持续优于当前最先进的方法，展现出更高的发现功效。
• 当辅助信息具有信息量时，AdaPT 在发现率上表现出显著提升——在 Benjamini-Hochberg 程序一个也未拒绝的情况下，AdaPT 成功拒绝了数百个假设。
• AdaPT 生成的局部 FDR 估计具有信息量，但其可靠性依赖于强建模假设，如两组模型以及 π₁(x) 和 f₁(p|x) 的正确设定。
• 与基于 knockoff 的方法不同，AdaPT 不在推断过程中引入随机性，使其成为一种确定性、尊重充分统计量的程序。
• 通过使用右删失 p 值和镜像属性（p_i 与 1 - p_i），AdaPT 实现了 FDR 控制，而无需依赖独立的 knockoff 变量，从而简化了实现与解释。