[论文解读] Improving knockoffs with conditional calibration

Yixiang Luo, William Fithian+1 more|arXiv (Cornell University)|Aug 19, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了校准 knockoff（cKnockoff）方法，通过基于条件校准的回退检验框架，统一提升了高维线性模型中 knockoff 滤波在控制错误发现率（FDR）时的统计功效。该方法在稀疏设置下表现显著增强——尤其当非零变量数量接近阈值 $1/\alpha$ 时——同时保持了有限样本下的 FDR 控制，并在具有挑战性的场景中优于 knockoffs 和 Benjamini-Hochberg 方法。

ABSTRACT

The knockoff filter of Barber and Candes (arXiv:1404.5609) is a flexible framework for multiple testing in supervised learning models, based on introducing synthetic predictor variables to control the false discovery rate (FDR). Using the conditional calibration framework of Fithian and Lei (arXiv:2007.10438), we introduce the calibrated knockoff procedure, a method that uniformly improves the power of any fixed-X or model-X knockoff procedure. We show theoretically and empirically that the improvement is especially notable in two contexts where knockoff methods can be nearly powerless: when the rejection set is small, and when the structure of the design matrix in fixed-X knockoffs prevents us from constructing good knockoff variables. In these contexts, calibrated knockoffs even outperform competing FDR-controlling methods like the (dependence-adjusted) procedure Benjamini-Hochberg in many scenarios.

研究动机与目标

• 为解决 knockoff 滤波中的‘阈值现象’问题，即当非零变量数量少于 $1/\alpha$ 时统计功效急剧下降，导致在稀疏设置下 knockoff 几乎无能为力。
• 开发一种方法，可统一提升任何 knockoff 程序的统计功效，同时保持有限样本下的 FDR 控制。
• 为在信号强度较低或设计矩阵中变量相关性较高的场景下，提供一种比 knockoffs 和 Benjamini-Hochberg 更稳健的替代方案。
• 使基于 knockoff 的推断方法能够在实际数据中部署，尤其是在非零变量数量有限的场景下，如 HIV 药物耐药性研究。

提出的方法

• cKnockoff 方法通过在原始 knockoff 程序未选择的变量上应用‘回退检验’，扩展了其拒绝集。
• 采用 Fithian 和 Lei（2022）提出的条件校准框架，为回退检验设定显著性水平，而不会破坏 FDR 控制。
• 回退检验在 knockoff 统计量上进行条件校准，确保整体程序在有限样本下以水平 $\alpha$ 维持 FDR 控制。
• 该方法针对固定-$X$ knockoffs 实现，采用高效的计算技巧，包括并行化和优化的检验统计量。
• 对于模型-$X$ knockoffs，由于对预测变量联合分布的假设不同，需进行轻微修改并采用不同的计算策略。
• 该程序在所有问题实例中均严格优于原始 knockoff 滤波器，前提是数据和假设条件相同。

实验结果

研究问题

• RQ1 能否开发一种方法，统一提升 knockoff 滤波的统计功效，同时保持有限样本下的 FDR 控制？
• RQ2 当非零变量数量接近 $1/\alpha$ 时，knockoffs 的性能如何退化？是否可被缓解？
• RQ3 能否通过在 knockoff 统计量上条件校准的回退检验，提升发现能力而不增加 FDR？
• RQ4 在稀疏设置下，当信号强度低或相关性高时，cKnockoff 是否优于 knockoffs 和 Benjamini-Hochberg？
• RQ5 校准 knockoff 程序能否在实践中高效实现，特别是在 HIV 药物耐药性分析等高维场景中？

主要发现

• cKnockoff 在所有问题实例中均统一提升了原始 knockoff 滤波器的统计功效，尤其在 knockoff 几乎无能为力的稀疏设置下提升最为显著。
• 在 HIV 药物耐药性数据集中，当 $\alpha = 0.05$ 时，knockoffs 几乎未拒绝任何变量，而 cKnockoff 和 cKnockoff* 实现了大量发现，显著优于 knockoffs。
• cKnockoff 在 TSM 面板上的可重复性更高，识别出更多已知与药物耐药性相关的突变。
• 当 $\alpha = 0.2$ 时，cKnockoff 即使在 knockoffs 已不再无效的情况下仍保持高统计功效，展现出对不同 FDR 水平的鲁棒性。
• cKnockoff 的计算成本仅为 knockoffs 的小幅倍数，且可通过并行化进一步加速，使其在实际应用中具有可行性。
• 在低信号和高相关性设置下，cKnockoff 优于 knockoffs 和 Benjamini-Hochberg，尤其当 BH 方法的错误发现比例过高时表现更优。