[论文解读] Auto-Encoding Knockoff Generator for FDR Controlled Variable Selection

Ying Liu, Cheng Zheng|arXiv (Cornell University)|Sep 27, 2018

Machine Learning and Data Classification参考文献 8被引用 17

一句话总结

本文提出一种基于条件变分自编码器（CAT-VAE）的无模型 knockoff 生成器，以实现在高维数据中控制 FDR 的变量选择。通过学习保留特征相关性的潜在表示，该方法在高斯分布和二值化模拟数据以及真实世界的人类免疫缺陷病毒（HIV）药物耐药性数据中，均实现了更高的检验效能和精确的 FDR 控制。

ABSTRACT

A new statistical procedure (Model-X \cite{candes2018}) has provided a way to identify important factors using any supervised learning method controlling for FDR. This line of research has shown great potential to expand the horizon of machine learning methods beyond the task of prediction, to serve the broader needs in scientific researches for interpretable findings. However, the lack of a practical and flexible method to generate knockoffs remains the major obstacle for wide application of Model-X procedure. This paper fills in the gap by proposing a model-free knockoff generator which approximates the correlation structure between features through latent variable representation. We demonstrate our proposed method can achieve FDR control and better power than two existing methods in various simulated settings and a real data example for finding mutations associated with drug resistance in HIV-1 patients.

研究动机与目标

• 为解决 Model-X 框架中实际且灵活的 knockoff 生成方法所存在的关键空白，该框架对于实现 FDR 控制的变量选择至关重要。
• 开发一种无模型方法，可为任意数据类型生成 knockoff，而无需假设特定的参数模型。
• 利用深度生成模型——特别是条件变分自编码器（VAE）——来近似特征的联合相关结构，以构建 knockoff。
• 确保生成的 knockoff 满足 Model-X 框架所要求的可交换性与条件独立性属性。
• 证明所提出的方法相较于现有固定 knockoff 和二阶 knockoff 方法，具有更高的统计效能和更精确的 FDR 控制。

提出的方法

• 提出一种条件变分自编码器（CAT-VAE），用于建模特征 $X$ 的联合分布，并通过潜在变量 $Z$ 生成 knockoff $ ilde{X}$，以确保 $X - \text{f}(Z)$ 最小化。
• 采用基于扰动的 knockoff 生成策略，通过引入微小噪声 $\epsilon$，从 $\hat{f}(\tilde{Z})$ 生成 $\tilde{X}$，以保证可交换性属性。
• 利用潜在空间 $Z$ 保留 $X$ 的相关结构，使 knockoff 能够模拟原始特征的边际与条件依赖结构。
• 采用深度生成模型学习 $q_\epsilon(\tilde{X} | X)$，使得 $\tilde{X}$ 在交换操作下与 $X$ 可交换，从而满足 Model-X knockoff 的定义。
• 应用 knockoff 过程，使用具有翻转符号特性的特征统计量 $W_j$，通过负统计量与正统计量的比值进行阈值设定，实现 FDR 控制。
• 同时采用 Knockoff 和 Knockoff+ 过程，分别控制修正后的 FDR 和标准 FDR，阈值选择基于假发现与真发现的比值。

实验结果

研究问题

• RQ1 是否可以利用深度生成模型构建无模型 knockoff，以保留高维特征的相关结构？
• RQ2 所提出的基于 CAT-VAE 的 knockoff 生成器是否在多种数据类型（包括高斯分布和二值化结果）中实现准确的 FDR 控制？
• RQ3 在不同信号强度和相关性条件下，该方法在检测真实信号方面的效能与现有固定 knockoff 和二阶 knockoff 生成器相比如何？
• RQ4 该方法是否可有效应用于真实世界生物数据（如识别人类免疫缺陷病毒-1（HIV-1）药物耐药性突变）中，实现可重复且可靠的特征选择？
• RQ5 与参数化替代方法相比，VAE 中的潜在表示在多大程度上提升了 knockoff 生成的质量与统计有效性？

主要发现

• 在高斯模拟中，所提出的 CAT-VAE knockoff 生成器在检测强信号（$\rho = 10$）时实现了 80% 的效能，优于固定方法和二阶方法。
• 在二值化结果模拟中，该方法的效能是现有方法的两倍以上，显示出在检测弱信号和稀疏信号方面的卓越敏感性。
• 在真实 HIV-1 药物耐药性数据上，当 FDR 控制在 0.2 时，CAT-VAE 方法平均选中了 75.3% 的真实信号突变（TSMs），表明其具有高度的可重复性和准确性。
• 在使用较不保守的 Knockoff 程序时，CAT-VAE 方法选中的突变数量多于其他方法，同时保持了 FDR 控制，并对 Knockoff 与 Knockoff+ 的选择不敏感。
• 该方法在所有七种药物测试中均表现出稳健性能，多个案例中选中的 TSM 数量最多（例如，使用 Knockoff+ 时，RTV 为 38/48，SQV 为 39/52）。
• 理论分析表明，当 $X - \hat{f}(Z)$ 与 $\tilde{X} - \hat{f}(\tilde{Z})$ 的密度接近时，FDR 控制得以维持，从而支持了基于扰动的生成策略的有效性。