[论文解读] Consistent Feature Selection for Analytic Deep Neural Networks

Vu Dinh, Lam Si Tung Ho|arXiv (Cornell University)|Oct 16, 2020

Statistical Methods and Inference参考文献 39被引用 6

一句话总结

本文通过以Group Lasso为基线估计器的自适应组Lasso，为分析性深度神经网络中的特征选择建立了选择一致性。研究证明，对于包括前馈网络、卷积网络和残差网络在内的广泛网络类别，该方法能一致地识别出相关特征，为可解释深度学习提供了理论依据，并主张采用自适应组Lasso替代标准组Lasso，因其具有更优的一致性特性。

ABSTRACT

One of the most important steps toward interpretability and explainability of neural network models is feature selection, which aims to identify the subset of relevant features. Theoretical results in the field have mostly focused on the prediction aspect of the problem with virtually no work on feature selection consistency for deep neural networks due to the model's severe nonlinearity and unidentifiability. This lack of theoretical foundation casts doubt on the applicability of deep learning to contexts where correct interpretations of the features play a central role. In this work, we investigate the problem of feature selection for analytic deep networks. We prove that for a wide class of networks, including deep feed-forward neural networks, convolutional neural networks, and a major sub-class of residual neural networks, the Adaptive Group Lasso selection procedure with Group Lasso as the base estimator is selection-consistent. The work provides further evidence that Group Lasso might be inefficient for feature selection with neural networks and advocates the use of Adaptive Group Lasso over the popular Group Lasso.

研究动机与目标

• 为解决由于深度神经网络的非线性和不可识别性导致其特征选择缺乏理论基础的问题。
• 为包括前馈网络、卷积网络和残差网络在内的广泛类分析性深度网络建立选择一致性。
• 证明组Lasso在深度网络中的特征选择中存在不一致性，并倡导采用自适应组Lasso作为更优替代方案。
• 构建一个最小化且可验证的框架，避免对网络规模或数据生成模型施加严格假设。
• 为高风险领域（如医学和公共政策）中的可解释深度学习提供理论支持。

提出的方法

• 形式化定义了一类具有解析激活函数和线性输入交互作用的通用分析性深度神经网络。
• 使用组Lasso作为基线估计器，以促进输入特征的组级稀疏性。
• 应用自适应组Lasso惩罚，根据初始估计值为不同特征组分配不同权重，从而增强选择一致性。
• 基于样本量增加的渐近分析理论框架，固定网络结构。
• 依赖解析性、有界参数空间和最小正则性条件等假设，以确保可验证性和通用性。
• 利用引理3.2避免了先前工作中存在的不可验证假设，增强了理论分析的稳健性。

实验结果

研究问题

• RQ1 在现实假设下，深度神经网络中的特征选择能否获得理论支持？
• RQ2 组Lasso在深度网络中是否具有选择一致性，还是存在效率低下和不一致的问题？
• RQ3 与标准组Lasso相比，自适应组Lasso在深度学习设置下是否能提升选择一致性？
• RQ4 是否能为包括卷积网络和残差架构在内的广泛类深度网络建立选择一致性？
• RQ5 当网络规模不完全匹配数据生成模型时，理论结果是否依然成立？

主要发现

• 以组Lasso为基线估计器的自适应组Lasso，对包括前馈网络、卷积网络以及残差网络的主要子类在内的广泛类分析性深度神经网络，具有选择一致性。
• 理论分析表明，标准组Lasso在深度网络的特征选择中存在不一致性，尤其因其无法自适应地调整特征组的权重。
• 该框架不要求训练网络与数据生成网络在规模上完全一致，从而放宽了先前研究中常见的严格假设。
• 该方法避免了诸如最优解处Hessian正则性等不可验证假设，使结果更具适用性和通用性。
• 本研究首次为深度学习中的特征选择一致性提供了理论基础，支持其在高风险、可解释性应用中的使用。
• 研究结果倡导在深度学习特征选择中优先采用自适应组Lasso，因其具备更优的一致性和可靠性。