[论文解读] Let the Data Choose its Features: Differentiable Unsupervised Feature Selection.

Ofir Lindenbaum, Uri Shaham+3 more|arXiv (Cornell University)|Jul 9, 2020

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种用于聚类的可微分、无监督特征选择方法，该方法利用伯努利变量的连续松弛来门控特征，并使用图拉普拉斯矩阵来评估低频、信息丰富的特征。该方法通过可微分损失函数联合优化特征选择与聚类，学习保留哪些特征，从而在真实世界数据集上优于基线方法。

ABSTRACT

Scientific observations often consist of a large number of variables (features). Identifying a subset of meaningful features is often ignored in unsupervised learning, despite its potential for unraveling clear patterns hidden in the ambient space. In this paper, we present a method for unsupervised feature selection, tailored for the task of clustering. We propose a differentiable loss function which combines the graph Laplacian with a gating mechanism based on continuous approximation of Bernoulli random variables. The Laplacian is used to define a scoring term that favors low-frequency features, while the parameters of the Bernoulli variables are trained to enable selection of the most informative features. We mathematically motivate the proposed approach and demonstrate that in the high noise regime, it is crucial to compute the Laplacian on the gated inputs, rather than on the full feature set. Experimental demonstration of the efficacy of the proposed approach and its advantage over current baselines is provided using several real-world examples.

研究动机与目标

• 为解决无监督学习中，尤其是聚类任务中缺乏特征选择的问题。
• 从高维数据中识别出有意义的特征子集，且无需标签监督。
• 开发一种可微分机制，以实现特征选择与聚类的端到端训练。
• 在高噪声环境下，从数学上证明在门控（已选择）输入上使用图拉普拉斯矩阵，而非完整输入空间的合理性。
• 在真实世界数据集上展示该方法的有效性，证明其相较于现有无监督特征选择基线方法的优势。

提出的方法

• 该方法引入了一种可微分损失函数，结合图拉普拉斯矩阵与基于连续松弛伯努利随机变量的门控机制。
• 图拉普拉斯矩阵在门控的特征输入上计算，倾向于选择对应于信息丰富、稳定特征的低频分量。
• 伯努利参数是可微分的，并通过端到端训练学习选择哪些特征，从而支持基于梯度的优化。
• 门控机制允许对特征进行软选择，其中每个特征的贡献由可学习的门控参数决定。
• 损失函数通过惩罚高频分量并促进稀疏、信息丰富的特征集，实现聚类质量与特征选择之间的平衡。
• 该方法在高噪声环境下具有理论依据，即在门控输入上计算拉普拉斯矩阵的性能优于在完整数据上计算。

实验结果

研究问题

• RQ1 如何使无监督特征选择可微分，以实现与聚类目标的端到端训练？
• RQ2 在高维、无标签数据中，对聚类而言，评分与选择特征的最佳方式是什么？
• RQ3 为何在高噪声环境下，在门控输入上计算图拉普拉斯矩阵比在完整特征集上更有效？
• RQ4 通过伯努利门控实现特征选择的连续松弛，是否能提升聚类性能，相较于离散或不可微分方法？
• RQ5 该方法在真实世界数据集上与现有无监督特征选择基线方法相比表现如何？

主要发现

• 该方法通过可微分的连续门控机制学习选择信息丰富的特征，从而实现了更优的聚类性能。
• 在高噪声环境下，使用图拉普拉斯矩阵对门控输入而非完整输入空间进行计算，对维持性能至关重要。
• 伯努利变量的连续松弛使得反向传播能够有效通过特征选择过程，从而实现选择与聚类的联合优化。
• 在真实世界数据集上的实证结果表明，所提方法在聚类准确率和稳定性方面优于现有无监督特征选择基线方法。
• 该方法对噪声和高维性表现出鲁棒性，能显著提升对有意义特征子集的识别能力。
• 理论分析证实，在门控特征上计算的拉普拉斯矩阵能更好地捕捉噪声数据中的低频、稳定模式。