[论文解读] Feature Selection using Stochastic Gates

Yutaro Yamada, Ofir Lindenbaum+2 more|arXiv (Cornell University)|Oct 9, 2018

Statistical Methods and Inference参考文献 70被引用 12

一句话总结

本文提出了一种新颖的嵌入式特征选择方法，用于非线性模型，采用随机门（STG），即伯努利分布的连续松弛，以近似ℓ₀正则化。通过将STG集成到神经网络的输入层，该方法实现了端到端可微训练，能够联合学习非线性函数并选择相关特征，在合成数据集和真实世界数据集上，其预测准确性和特征选择一致性均优于LASSO、HC和DNC。

ABSTRACT

Feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a method for feature selection in high-dimensional non-linear function estimation problems. The new procedure is based on minimizing the $\ell_0$ norm of the vector of indicator variables that represent if a feature is selected or not. Our approach relies on the continuous relaxation of Bernoulli distributions, which allows our model to learn the parameters of the approximate Bernoulli distributions via gradient descent. This general framework simultaneously minimizes a loss function while selecting relevant features. Furthermore, we provide an information-theoretic justification of incorporating Bernoulli distribution into our approach and demonstrate the potential of the approach on synthetic and real-life applications.

研究动机与目标

• 为解决非线性模型中缺乏有效的嵌入式特征选择方法，尤其是在生物医学数据中常见的高维设置下。
• 克服ℓ₁正则化（如LASSO）在非线性情境下的局限性，其在输入层无法诱导稀疏性且存在参数收缩问题。
• 开发一种可微分、端到端的框架，同时学习非线性函数并选择最小且相关的特征子集。
• 提出一种基于概率、信息论上合理的特征选择方法，利用伯努利分布的平滑近似。
• 在特征相关性和小样本情形下展示稳健性能，而传统方法常在此类情况下失效。

提出的方法

• 该方法引入随机门（STG）作为伯努利分布的连续松弛，通过均值偏移高斯变量的硬Sigmoid变换生成可微分的二值门。
• 每个输入特征乘以一个随机门，门的激活概率由可训练参数μ_d控制，从而实现基于梯度的特征包含优化。
• 通过活跃门的期望数量近似ℓ₀范数，目标函数中引入控制稀疏性的正则化参数λ。
• 该框架完全可微分，通过重参数化技巧实现通过随机门的反向传播，支持模型权重与门参数的联合优化。
• 该方法应用于回归、分类和生存分析任务，门参数通过随机梯度下降端到端学习。
• STG近似在特征选择中表现出比基于逻辑回归的松弛更一致和准确，尤其在特征相关性和小样本条件下。

实验结果

研究问题

• RQ1 可微分的概率性ℓ₀范数松弛是否能在深度神经网络等非线性模型中实现有效的特征选择？
• RQ2 所提出的基于STG的方法在预测准确性和特征选择稀疏性方面与LASSO及其他嵌入式方法相比如何？
• RQ3 STG框架在存在相关特征（高维数据中常见挑战）时是否保持稳健性和一致性？
• RQ4 该方法是否能清晰指示真实的相关特征数量，表现为在正确特征数量处出现稳定的性能峰值？
• RQ5 STG的概率框架是否具有信息论上的合理性，支持其作为特征选择的理论基础？

主要发现

• 在具有相关特征的线性回归中，STG在比LASSO、HC和DNC更少的样本下恢复了真实支持，表明在相关性下具有更优的一致性。
• 在包含15个弱相关特征和5个强相关特征的MADELON数据集上，STG在广泛的正则化参数λ范围内实现了1.0的精确度，表明其仅一致选择了信息丰富的特征。
• STG实现了92.4%的测试准确率，优于LASSO（90.1%），并匹配HC（91.7%），同时选择的特征更少，展现出优异的预测性能与稀疏性。
• STG的分类准确率峰值出现在恰好选择5个特征时，明确指示了真实的相关特征数量——而LASSO和随机森林缺乏此类清晰信号。
• 在生存分析任务中，STG保持了高性能与稀疏性，证明其在标准分类与回归之外的泛化能力。
• STG在多个合成与真实世界数据集上持续优于HC、LASSO和DNC，尤其在小样本和高相关性场景下表现突出。