[论文解读] Gradient-based Laplacian Feature Selection

Bo Wang, Anna Goldenberg|arXiv (Cornell University)|Apr 10, 2014

Face and Expression Recognition参考文献 15被引用 4

一句话总结

本文提出了一种基于梯度的拉普拉斯特征选择方法（GLFS），这是一种无监督特征选择方法，通过精确协方差计算和ℓ₁松弛实现稀疏性，在拉普拉斯正则化最小二乘回归模型中最小化方差。GLFS在物体识别和计算生物学数据集上实现了优于现有最先进方法（包括Elastic Net）的聚类和分类性能，同时选择更少且更相关的特征。

ABSTRACT

Analysis of high dimensional noisy data is of essence across a variety of research fields. Feature selection techniques are designed to find the relevant feature subset that can facilitate classification or pattern detection. Traditional (supervised) feature selection methods utilize label information to guide the identification of relevant feature subsets. In this paper, however, we consider the unsupervised feature selection problem. Without the label information, it is particularly difficult to identify a small set of relevant features due to the noisy nature of real-world data which corrupts the intrinsic structure of the data. Our Gradient-based Laplacian Feature Selection (GLFS) selects important features by minimizing the variance of the Laplacian regularized least squares regression model. With $\ell_1$ relaxation, GLFS can find a sparse subset of features that is relevant to the Laplacian manifolds. Extensive experiments on simulated, three real-world object recognition and two computational biology datasets, have illustrated the power and superior performance of our approach over multiple state-of-the-art unsupervised feature selection methods. Additionally, we show that GLFS selects a sparser set of more relevant features in a supervised setting outperforming the popular elastic net methodology.

研究动机与目标

• 解决在缺乏标签信息的高维、噪声真实世界数据中进行无监督特征选择的挑战。
• 克服现有无监督方法的局限性，例如依赖贪心算法、使用近似协方差矩阵以及对参数调优敏感的问题。
• 开发一种可扩展且稳健的方法，以识别与数据内在流形结构相关的稀疏特征子集。
• 通过利用拉普拉斯正则化回归的几何与判别特性，提升聚类和分类任务的性能。

提出的方法

• GLFS将特征选择建模为拉普拉斯正则化最小二乘（LapRLS）回归中的方差最小化问题，使用精确的全协方差矩阵以保留流形结构。
• 通过凸松弛将NP难的ℓ₀范数约束松弛为ℓ₁范数，实现高效优化并生成稀疏特征子集。
• 推导出闭式一阶雅可比矩阵，以支持使用牛顿型求解器进行ℓ₁正则化优化的快速收敛。
• 引入一种自动线搜索技术，以无需人工指定的方式调节惩罚参数λ。
• 通过使用学习到的特征权重结合LapRLS预测规则，将该方法扩展至监督设置下的分类任务。
• 该框架被应用于无监督聚类和监督分类任务，并通过交叉验证进行超参数选择。

实验结果

研究问题

• RQ1 基于拉普拉斯正则化的无监督特征选择方法是否能在高维噪声数据上实现优于现有最先进方法的性能？
• RQ2 与使用近似协方差矩阵相比，使用精确协方差矩阵是否能提升特征选择的鲁棒性和准确性？
• RQ3 与贪心ℓ₀优化相比，ℓ₀范数约束的ℓ₁松弛是否能产生更稀疏、更稳定且更准确的特征子集？
• RQ4 GLFS在识别基因表达数据中的生物学相关特征方面表现如何，特别是在检测疾病亚型方面？
• RQ5 当在无标签信息参与特征选择的情况下应用于相同数据时，GLFS是否能在分类任务中优于Elastic Net等流行监督方法？

主要发现

• 在模拟数据的聚类任务中，GLFS在NMI（标准化互信息）评分上达到最高，优于Laplacian Score、SPCA等方法，尤其在特征数少于100时表现更优。
• 在MNIST、COIL20和AT&T人脸识别数据集上，GLFS在聚类性能上优于Laplacian Score、SPCA和LapAOFS，NMI和调整兰德指数均有稳定提升。
• 在TCGA数据中进行胶质母细胞瘤（GBM）亚型检测时，GLFS识别出约25个基因的稀疏集合，成功捕捉了关键生物学亚型，尽管特征数更少，但仍优于SPCA和其他方法。
• 在白血病微阵列数据集上，GLFS仅使用16个基因即实现0%的测试误差，性能与Elastic Net（0%测试误差）相当，但所用特征数减少了64%。
• GLFS比竞争方法更具鲁棒性：与SPCA和基于拉普拉斯的方法不同，其性能不会因特征数量增加而下降，表明额外特征不会引入噪声。
• 该方法在多次试验中表现出稳定性能，而SPCA和LapDOFS则因对初始化和相似性图构建敏感而表现出高方差。