[论文解读] Deep Feature Screening: Feature Selection for Ultra High-Dimensional Data via Deep Neural Networks

Kexuan Li, Fangfang Wang+2 more|arXiv (Cornell University)|Apr 4, 2022

Face and Expression Recognition被引用 8

一句话总结

本文提出深度特征筛选（DeepFS），一种针对超高维、小样本数据的两步、模型无关方法，结合深度自编码器进行表征学习与多变量等级距离相关性进行特征筛选。DeepFS在多种数据集上均展现出卓越的特征选择准确率与重建性能，在分类与重建任务中均优于现有方法，且对超参数选择具有强鲁棒性。

ABSTRACT

The applications of traditional statistical feature selection methods to high-dimension, low sample-size data often struggle and encounter challenging problems, such as overfitting, curse of dimensionality, computational infeasibility, and strong model assumption. In this paper, we propose a novel two-step nonparametric approach called Deep Feature Screening (DeepFS) that can overcome these problems and identify significant features with high precision for ultra high-dimensional, low-sample-size data. This approach first extracts a low-dimensional representation of input data and then applies feature screening based on multivariate rank distance correlation recently developed by Deb and Sen (2021). This approach combines the strengths of both deep neural networks and feature screening, and thereby has the following appealing features in addition to its ability of handling ultra high-dimensional data with small number of samples: (1) it is model free and distribution free; (2) it can be used for both supervised and unsupervised feature selection; and (3) it is capable of recovering the original input data. The superiority of DeepFS is demonstrated via extensive simulation studies and real data analyses.

研究动机与目标

• 解决传统特征选择方法在超高维、小样本数据中的局限性，如过拟合、计算不可行性以及强参数假设。
• 开发一种无需模型与分布假设的方法，以捕捉高维数据中的非线性关系与特征交互作用。
• 在统一框架内实现监督与无监督特征选择。
• 确保能够从所选特征中重建原始输入数据，保持数据保真度。
• 为真实世界应用（如基因组学与生物医学数据分析）提供可扩展且鲁棒的解决方案，且调参需求最小化。

提出的方法

• 使用深度自编码器（或有监督自编码器）从高维输入数据中提取低维潜在表征。
• 计算每个原始特征与编码表征之间的多变量等级距离相关性，以评估特征重要性。
• 选择等级距离相关性得分最高的特征作为最具信息量的特征。
• 直接在原始输入空间中执行特征选择，以保持可解释性与数据重建能力。
• 使用带ReLU激活函数的单层前馈神经网络，评估所选特征在分类与重建任务中的性能。
• 对潜在维度 $ h $ 进行敏感性分析，以评估方法对超参数选择的鲁棒性。

实验结果

研究问题

• RQ1 基于深度神经网络的特征提取方法结合非参数筛选，是否能提升超高维、小样本数据中的特征选择性能？
• RQ2 在分类准确率与重建误差方面，DeepFS相较于经典方法与基于深度学习的特征选择方法表现如何？
• RQ3 DeepFS对自编码器潜在维度 $ h $ 的变化在多大程度上具有鲁棒性？
• RQ4 DeepFS是否能在不假设特定参数模型的前提下，有效实现监督与无监督特征选择？
• RQ5 DeepFS是否能保持从所选特征中重建原始数据的能力，其对性能有何影响？

主要发现

• 在所有四个真实世界数据集上，DeepFS在分类准确率方面始终优于经典方法（如 ISIS、PLasso）与基于深度学习的替代方法（如 FsNet、LassoNet），尤其在所选特征数 $ k $ 较小时表现更优。
• 在所有数据集上，DeepFS的重建误差最低，证明其在使用所选特征时具有强大的数据结构保持能力。
• 该方法对潜在维度 $ h $ 的选择表现出高度鲁棒性，因为 $ h = 5, 10, 15 $ 时的分类准确率曲线在不同 $ k $ 值下几乎无法区分。
• DeepFS在监督与无监督设置中均保持高性能，证实其在多样化学习场景中的多功能性。
• 多变量等级距离相关性的使用有效检测了特征间的非线性关系与交互效应，从而提升了选择准确率。
• DeepFS仅使用少量特征子集即可实现对原始数据的高精度重建，这对下游分析与可解释性至关重要。