[论文解读] A Power and Prediction Analysis for Knockoffs with Lasso Statistics

Asaf Weinstein, Rina Foygel Barber+1 more|arXiv (Cornell University)|Dec 18, 2017

Statistical Methods in Clinical Trials参考文献 12被引用 26

一句话总结

本文在 i.i.d. 高斯设计下分析了基于 Lasso 统计量的 knockoff 方法的统计功效与预测性能。结果表明，尽管缺乏对信号稀疏性或分布的先验知识，knockoff 方法在渐近意义上仍能实现接近最优的功效与预测误差，其表现与已知系数分布的 oracle Lasso 相当。

ABSTRACT

Knockoffs is a new framework for controlling the false discovery rate (FDR) in multiple hypothesis testing problems involving complex statistical models. While there has been great emphasis on Type-I error control, Type-II errors have been far less studied. In this paper we analyze the false negative rate or, equivalently, the power of a knockoff procedure associated with the Lasso solution path under an i.i.d. Gaussian design, and find that knockoffs asymptotically achieve close to optimal power with respect to an omniscient oracle. Furthermore, we demonstrate that for sparse signals, performing model selection via knockoff filtering achieves nearly ideal prediction errors as compared to a Lasso oracle equipped with full knowledge of the distribution of the unknown regression coefficients. The i.i.d. Gaussian design is adopted to leverage results concerning the empirical distribution of the Lasso estimates, which makes power calculation possible for both knockoff and oracle procedures.

研究动机与目标

• 研究在高维线性模型中，基于 Lasso 统计量的 knockoff 方法的统计功效与预测精度。
• 评估 knockoff 方法在最小化第二类错误（假阴性）的同时，对错误发现率（FDR）的控制能力。
• 将 knockoff 方法的性能与一个理想化的 oracle Lasso 进行比较，后者已知回归系数的真实分布。
• 评估 knockoff 筛选是否能在稀疏高维设置下实现接近最优的预测误差。

提出的方法

• 利用近似消息传递（AMP）框架，刻画在 $ n,p \to \infty $ 且 $ n/p \to \delta > 0 $ 的 i.i.d. 高斯设计下，Lasso 估计的渐近分布。
• 定义一种 knockoff 方法，通过引入人工特征，利用真实变量与 knockoff 变量之间的交换性来实现 FDR 控制。
• 采用一个水平为 $ q $ 的 knockoff 方法，基于变量在 Lasso 路径上的出现顺序进行选择，且无需知道 $ \Pi^* $ 或 $ \epsilon $。
• 将 knockoff 方法的性能与一个能通过相同选择规则实现精确 $ q $ FDR 的 oracle Lasso 进行比较。
• 通过 Riemann-Stieltjes 积分以及风险和尾部概率泛函的数值积分，数值计算 FDR 与真正例比例（TPP）。
• 推导并求解包含 $ \alpha $ 和 $ \tau $ 的方程组（4），以确定 Lasso 路径的阈值参数。

实验结果

研究问题

• RQ1 在 Lasso 路径选择规则下，knockoff 方法在多大程度上接近实现最优统计功效？
• RQ2 knockoff 筛选能否实现与已知真实系数分布的 oracle Lasso 相当的预测误差？
• RQ3 knockoff 控制的 FDR 与所实现的功效之间在渐近上存在何种关系，特别是在稀疏信号设置下？
• RQ4 knockoff 方法是否能良好适应未知信号分布，而无需事先知道稀疏性或系数分布？
• RQ5 在 FDR 控制与真正例检测率方面，knockoff 方法与 oracle 方法相比表现如何？

主要发现

• knockoff 方法在渐近意义上实现的功效非常接近于已知系数真实分布并选择 $ \lambda $ 以实现精确目标 FDR 水平 $ q $ 的 oracle Lasso。
• 对于稀疏信号，knockoff 筛选实现了近乎理想的预测误差，其性能接近于已知系数分布的 Lasso oracle。
• knockoff 方法的功效对不同分布 $ \Pi^* $ 具有鲁棒性，表现出对未知信号特征的强大适应性。
• 模拟结果证实，即使在未知 $ \epsilon $ 或 $ \Pi^* $ 的情况下，knockoff 方法在通常关注的各类 FDR 水平下仍能实现接近最优的功效。
• 图 1 中的理论渐近预测表明，knockoff 功效紧密跟踪 oracle 的功效，尽管对信号分布无先验知识，但性能损失极小。
• 该方法在实现高统计功效的同时严格控制了 FDR，验证了其在高维特征选择中的实际应用价值。