[论文解读] Knockoffs for the mass: new feature importance statistics with false discovery guarantees

Jaime Roquero Gimenez, Amirata Ghorbani+1 more|arXiv (Cornell University)|Jul 17, 2018

Bayesian Modeling and Causal Inference被引用 20

一句话总结

本文提出了一种新颖且高效的方法，从贝叶斯网络生成有效的 knockoff 特征，实现在高维特征选择中的错误发现率（FDR）控制。该方法提出了一种名为 Swap Integral 的统计量，其在真实数据和合成数据上的统计功效显著优于现有方法，使得在使用神经网络等黑箱模型时也能实现稳健的特征选择，同时在正确建模特征分布的前提下保持统计保障。

ABSTRACT

An important problem in machine learning and statistics is to identify features that causally affect the outcome. This is often impossible to do from purely observational data, and a natural relaxation is to identify features that are correlated with the outcome even conditioned on all other observed features. For example, we want to identify that smoking really is correlated with cancer conditioned on demographics. The knockoff procedure is a recent breakthrough in statistics that, in theory, can identify truly correlated features while guaranteeing that the false discovery is limited. The idea is to create synthetic data -- knockoffs -- that captures correlations amongst the features. However there are substantial computational and practical challenges to generating and using knockoffs. This paper makes several key advances that enable knockoff application to be more efficient and powerful. We develop an efficient algorithm to generate valid knockoffs from Bayesian Networks. Then we systematically evaluate knockoff test statistics and develop new statistics with improved power. The paper combines new mathematical guarantees with systematic experiments on real and synthetic data.

研究动机与目标

• 解决 knockoff 应用中的两大主要障碍：计算上可处理的 knockoff 生成方法与强大且模型无关的检验统计量。
• 开发一种框架，利用贝叶斯网络从灵活且非高斯的特征分布中生成有效 knockoff 特征，突破传统多变量高斯假设的限制。
• 系统性地评估并改进特征重要性统计量，尤其针对非线性和复杂模型（如神经网络）。
• 通过利用混合模型中的稳健 knockoff 采样，在真实数据分布被近似时仍能确保 FDR 控制。
• 实现使用现成分类器在真实世界数据集中进行实际且具有统计保障的特征选择。

提出的方法

• 通过利用条件独立结构，提出一种适用于贝叶斯网络的可计算 knockoff 采样算法，实现无需依赖严格多变量高斯假设的有效 knockoff 生成。
• 提出一种新型检验统计量 Swap Integral，通过在一系列特征交换过程中积分原始特征与交换后特征预测值的差异，来衡量特征重要性。
• 将 knockoff 框架应用于以高斯混合模型（GMM）建模的数据，使用 AIC 选择 $ P^X $ 的最优分量数。
• 采用后处理方法：训练任意黑箱分类器（如神经网络、随机森林），然后对训练好的模型应用 Swap Integral 以计算特征重要性得分。
• 采用统一框架，推广现有 knockoff 采样方法，并在模型误设情况下仍能实现 FDR 控制，前提是 $ P^X $ 的近似足够准确。
• 通过在具有已知非零特征的合成数据以及来自 UK Biobank、Bank Marketing 和波兰破产数据集的真实世界数据上进行大量实验，结合重复采样和功效/FDR 评估，验证了该方法。

实验结果

研究问题

• RQ1 是否能够从贝叶斯网络中高效且有效地生成 knockoff 样本，以支持复杂且非高斯的特征依赖关系？
• RQ2 在非线性和高维设置下，所提出的 Swap Integral 统计量是否显著优于现有 knockoff 检验统计量的统计功效？
• RQ3 当使用从混合模型（如 GMM）生成的 knockoff 样本而非精确的 $ P^X $ 时，FDR 是否能可靠控制，尤其是在真实世界数据中？
• RQ4 在真实世界数据中，Swap Integral 与基于 LASSO 及其他非线性统计量相比，在黑箱模型下的性能如何？
• RQ5 即使缺乏真实标签，基于 knockoff 的特征选择在多大程度上能识别出具有生物学或经济意义的特征？

主要发现

• 所提出的从贝叶斯网络生成 knockoff 的方法在以往方法（受限于多变量高斯分布或 HMM）失效的场景下（特别是当 $ P^X $ 非高斯时）成功生成了有效 knockoff 样本。
• 在包含 5、10 和 20 个多元高斯混合的合成数据中，Swap Integral 在所有目标 FDR 水平下均保持最高功效，显著优于基于 LASSO 及其他非线性统计量的方法。
• 在真实世界数据集（UK Biobank、Bank Marketing、波兰破产）上，Swap Integral 的功效至少与其它方法相当，且在高目标 FDR 水平下常显著更高。
• 当使用高斯混合 knockoff 时，经验 FDR 成功控制在目标水平（如 0.2），而单一多变量高斯模型则未能控制 FDR（经验 FDR：0.5565），凸显了准确建模 $ P^X $ 的重要性。
• 在具有真实标签的情况下，knockoff 方法识别出了具有生物学和经济合理性的特征（如吸烟频率、红酒摄入量、毛利润、短期负债），与已有文献一致，表明其实际应用价值。
• Swap Integral 统计量作为训练后处理步骤计算高效，可直接应用于复杂模型（如 4 层神经网络）而无需重新训练。