[论文解读] DeepPINK: reproducible feature selection in deep neural networks

Yang Lu, Yingying Fan+2 more|arXiv (Cornell University)|Sep 4, 2018

Explainable Artificial Intelligence (XAI)被引用 69

一句话总结

DeepPINK 将 model-X knockoffs 与成对连接的神经网络结合，在深度神经网络的特征选择中实现假发现率（FDR）控制，并在仿真和真实数据中展示出比天真 knockoff 增强模型更高的检出力。

ABSTRACT

Deep learning has become increasingly popular in both supervised and unsupervised machine learning thanks to its outstanding empirical performance. However, because of their intrinsic complexity, most deep learning methods are largely treated as black box tools with little interpretability. Even though recent attempts have been made to facilitate the interpretability of deep neural networks (DNNs), existing methods are susceptible to noise and lack of robustness. Therefore, scientists are justifiably cautious about the reproducibility of the discoveries, which is often related to the interpretability of the underlying statistical models. In this paper, we describe a method to increase the interpretability and reproducibility of DNNs by incorporating the idea of feature selection with controlled error rate. By designing a new DNN architecture and integrating it with the recently proposed knockoffs framework, we perform feature selection with a controlled error rate, while maintaining high power. This new method, DeepPINK (Deep feature selection using Paired-Input Nonlinear Knockoffs), is applied to both simulated and real data sets to demonstrate its empirical utility.

研究动机与目标

• 通过受控特征选择提升深度神经网络的可解释性和可重复性。
• 利用 model-X knockoffs 框架在高维环境下控制 FDR。
• 开发一种允许原始特征及其 knockoffs 之间竞争以提升检出力的 DNN 架构。
• 在仿真数据和真实数据集上演示实证效用（HIV-1 突变、肠道微生物组）。

提出的方法

• 在 DNN 中引入一个成对连接的层，使每个输入特征与其 knockoff 对应物成对连接。
• 使用滤波权重和后续 MLP 层权重定义特征重要性度量 Z_j 和 〖 Z_j 〗。
• 计算 knockoff 统计量 W_j = Z_j^2 - 〖 Z_j^2 并应用 knockoff 阈值规则 T 或 T+ 以实现 FDR 控制。
• 使用 L1 正则化和 Adam 优化训练网络，采用具有两层隐藏层的 MLP。
• 在高斯设计下构造 knockoffs，并在需要时估计精度矩阵（为可扩展性使用 ISEE）。
• 在仿真中与基线（MLP、DeepLIFT、RF、SVR）进行比较，评估经验 FDR 和检出力。

实验结果

研究问题

• RQ1 DeepPINK 是否能够在有限样本下实现 FDR 控制，同时在 DNN 的特征选择中保持高检出力？
• RQ2 将成对 knockoff 层整合是否比在 DNN 中简单将 knockoffs 输入的做法提高特征选择的性能？
• RQ3 在不同维度下，DeepPINK 在线性和非线性数据产生过程（线性模型和单指数模型）下的表现如何？
• RQ4 在真实生物数据集（HIV-1 突变、肠道微生物组）中，在受控的 FDR 下方法是否能识别出已知的相关特征？

主要发现

• 在仿真中，DeepPINK 始终将 FDR 控制在目标水平 q=0.2 以下。
• 在大多数设置的合成实验中，DeepPINK 相对于竞争方法（MLP、DeepLIFT、RF、SVR）具有更高的检出力。
• 成对连接层以及 X_j 与 〓 X_j 之间的竞争相比于天真地使用 knockoff 增强网络显著提升了检出力。
• 在真实数据应用中，DeepPINK 识别的突变和微生物组特征得到现有文献的支持，通常在 FDR 控制和发现方面优于或接近 Knockoff 和 BHq。
• 该方法避免对潜在数据生成过程的强假设，且可应用于除了 MLP 之外的其他网络架构。