[论文解读] Differentiable Unsupervised Feature Selection based on a Gated Laplacian

Ofir Lindenbaum, Uri Shaham+3 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications参考文献 49被引用 14

一句话总结

本文提出可微分无监督特征选择（DUFS），该方法结合门控拉普拉斯得分与可训练伯努利门控机制，以在高维、噪声数据中识别信息性特征。通过门控机制的连续可微性，DUFS 动态选择特征子集并重新评估拉普拉斯得分，在真实世界数据集和噪声数据集上的聚类准确率上优于标准拉普拉斯得分及基线方法。

ABSTRACT

Scientific observations may consist of a large number of variables (features). Identifying a subset of meaningful features is often ignored in unsupervised learning, despite its potential for unraveling clear patterns hidden in the ambient space. In this paper, we present a method for unsupervised feature selection, and we demonstrate its use for the task of clustering. We propose a differentiable loss function that combines the Laplacian score, which favors low-frequency features, with a gating mechanism for feature selection. We improve the Laplacian score, by replacing it with a gated variant computed on a subset of features. This subset is obtained using a continuous approximation of Bernoulli variables whose parameters are trained to gate the full feature space. We mathematically motivate the proposed approach and demonstrate that in the high noise regime, it is crucial to compute the Laplacian on the gated inputs, rather than on the full feature set. Experimental demonstration of the efficacy of the proposed approach and its advantage over current baselines is provided using several real-world examples.

研究动机与目标

• 为解决无监督学习中冗余特征掩盖底层数据结构的挑战，特别是在高维科学数据集中。
• 通过在选定的特征子集上动态重新评估拉普拉斯得分，而非在整个特征空间上进行，从而改进拉普拉斯得分方法。
• 开发一种可微分、端到端可训练的无监督特征选择框架，支持基于梯度的优化。
• 证明在计算拉普拉斯得分之前进行特征选择（而非之后）能更有效地检测噪声环境下的真实流形结构。

提出的方法

• 引入一种可微分的门控机制，通过伯努利变量的连续松弛化实现特征选择，支持基于梯度的优化。
• 提出门控拉普拉斯得分，其在由门控参数决定的特征子集上计算拉普拉斯得分，而非在所有特征上计算。
• 利用高斯核在选定特征上构建图拉普拉斯矩阵，以保留局部流形结构。
• 通过反向传播对目标函数进行优化，对门控参数进行微分，实现特征选择与结构保持的联合学习。
• 采用伯努利门控的连续近似（如 Concrete 松弛）使选择过程具备可微性。
• 在选定特征上应用 k-means 聚类以评估性能，所有训练均以纯无监督方式进行。

实验结果

研究问题

• RQ1 可微分特征选择机制是否能提升在含冗余特征的高维数据中的无监督聚类性能？
• RQ2 在动态选择的特征子集上计算拉普拉斯得分，是否能比在完整特征集上计算获得更好的结构恢复效果？
• RQ3 与现有无监督特征选择基线方法相比，所提方法在聚类准确率和抗噪声鲁棒性方面表现如何？
• RQ4 在何种场景下，对门控子集重新评估拉普拉斯得分对检测潜在数据结构至关重要？
• RQ5 所提方法是否能在不使用标签信息的情况下，从真实世界数据集中识别出有意义的特征？

主要发现

• 在 9 个基准数据集上，DUFS 的中位排名为 1，平均排名为 1.3，优于所有 6 个基线方法中的 6 个数据集，在其余 3 个数据集上排名第二。
• 在噪声 MNIST 数据集上，DUFS 选择的特征集中于数字的左侧区域（如区分 '3' 与 '8'），聚类准确率高于拉普拉斯得分方法。
• 在噪声 PIX10 数据集上，DUFS 选择了更多对人脸图像聚类有信息量的特征，表现出对像素级噪声的鲁棒性。
• 在选择特征数量从 50 到 300 的不同设置下，DUFS 在所有配置中均持续优于拉普拉斯得分方法的聚类准确率。
• 在高噪声环境下，该方法表现出显著优势，此时标准拉普拉斯得分因冗余特征的掩盖而失效。
• 消融实验确认，在门控子集上计算拉普拉斯得分至关重要——对选定特征重新评估拉普拉斯得分能显著提升结构检测能力。