[论文解读] Improving the Stability of the Knockoff Procedure: Multiple Simultaneous Knockoffs and Entropy Maximization

Jaime Roquero Gimenez, James Zou|arXiv (Cornell University)|Oct 26, 2018

Gene expression and cancer classification被引用 17

一句话总结

本文提出了多 knockoff 方法，作为 Model-X knockoff 程序的推广，通过同时生成多个 knockoff 变量来增强特征选择的稳定性和效能。采用熵最大化方法生成高斯多 knockoff，该方法在保持错误发现率（FDR）控制的同时，显著提升了选择的一致性和检测效能，尤其在真实因果特征数量较少时表现突出——在全基因组关联研究（GWAS）中精细定位遗传变异方面得到了有效验证。

ABSTRACT

The Model-X knockoff procedure has recently emerged as a powerful approach for feature selection with statistical guarantees. The advantage of knockoff is that if we have a good model of the features X, then we can identify salient features without knowing anything about how the outcome Y depends on X. An important drawback of knockoffs is its instability: running the procedure twice can result in very different selected features, potentially leading to different conclusions. Addressing this instability is critical for obtaining reproducible and robust results. Here we present a generalization of the knockoff procedure that we call simultaneous multi-knockoffs. We show that multi-knockoff guarantees false discovery rate (FDR) control, and is substantially more stable and powerful compared to the standard (single) knockoff. Moreover we propose a new algorithm based on entropy maximization for generating Gaussian multi-knockoffs. We validate the improved stability and power of multi-knockoffs in systematic experiments. We also illustrate how multi-knockoffs can improve the accuracy of detecting genetic mutations that are causally linked to phenotypes.

研究动机与目标

• 为解决标准 knockoff 程序的不稳定性问题，该程序在不同运行中会产生高度可变的特征选择结果。
• 提升特征选择的统计效能，特别是在真实因果特征数量较少的情况下。
• 开发一种在保持错误发现率（FDR）控制的同时，增强选择稳定性和可重复性的方法。
• 实现在全基因组关联研究（GWAS）中更可靠地识别因果遗传变异。
• 提出一种新的算法框架，用于在分布约束下同时生成多个 knockoff 变量。

提出的方法

• 提出 knockoff 程序的推广，实现多个同时生成的 knockoff（多 knockoff），并保持实现 FDR 控制所必需的关键分布特性。
• 引入熵最大化算法，用于在指定约束下生成与原始特征联合分布的高斯多 knockoff。
• 采用凸优化框架求解熵最大化问题，确保生成的 knockoff 满足所需的条件分布特性。
• 采用对称构造方法，使得原始特征与 knockoff 特征的联合分布对特征及其 knockoff 的置换保持不变。
• 将 knockoff 过滤器应用于多 knockoff 设计，基于检验统计量选择特征，并通过阈值规则控制 FDR。
• 使用合成数据和真实 GWAS 数据验证该方法，比较多次运行下的选择频率、效能和 FDR。

实验结果

研究问题

• RQ1 与单 knockoff 相比，多个同时生成的 knockoff 是否能提升特征选择的稳定性？
• RQ2 在与原始 knockoff 相同的假设下，多 knockoff 程序是否仍能维持有效的错误发现率（FDR）控制？
• RQ3 熵最大化能否生成在统计上有效且计算高效的高斯多 knockoff？
• RQ4 当真实因果特征数量较少时，多 knockoff 是否能提升检测因果特征的效能？
• RQ5 在 GWAS 中，多 knockoff 是否能优于标准的相关性选择方法，在精细定位因果变异方面表现更优？

主要发现

• 多 knockoff 显著提升了选择稳定性，相较于单 knockoff，非零特征在重复运行中被更一致地选择。
• 该方法即使在真实因果特征数量较少时也能严格控制 FDR，而单 knockoff 在低信号条件下往往无法检测到任何特征。
• 在非零特征数量变化的模拟实验中，一旦越过检测阈值，多 knockoff 能持续拒绝大量非零特征，表明其效能显著提升。
• 熵最大化算法成功生成了适用于高斯设计的有效多 knockoff，实现了稳定且强大的推断。
• 在 GWAS 应用中，多 knockoff 显著优于标准的 top-correlation 方法（该方法无法控制 FDR），并显著优于单 knockoff 在检测因果 SNP 方面的表现。
• 效能的提升并非源于不稳定性增加；非零特征的选择频率分布集中在高频区域，表明检测结果可靠。