[论文解读] Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm

Xinxing Wu, Qiang Cheng|PubMed|Oct 19, 2020

Face and Expression Recognition参考文献 10被引用 8

一句话总结

该论文提出了一种新颖的无监督特征选择算法，通过神经网络结合全局特征评分器与局部特征选择器，实现了可证明的算法稳定性与泛化误差界。该方法在真实世界数据集上表现出色，所选特征在性能上与原始特征相当，并且在数据扰动下具有高度稳定性。

ABSTRACT

Feature selection, as a vital dimension reduction technique, reduces data dimension by identifying an essential subset of input features, which can facilitate interpretable insights into learning and inference processes. Algorithmic stability is a key characteristic of an algorithm regarding its sensitivity to perturbations of input samples. In this paper, we propose an innovative unsupervised feature selection algorithm attaining this stability with provable guarantees. The architecture of our algorithm consists of a feature scorer and a feature selector. The scorer trains a neural network (NN) to globally score all the features, and the selector adopts a dependent sub-NN to locally evaluate the representation abilities for selecting features. Further, we present algorithmic stability analysis and show that our algorithm has a performance guarantee via a generalization error bound. Extensive experimental results on real-world datasets demonstrate superior generalization performance of our proposed algorithm to strong baseline methods. Also, the properties revealed by our theoretical analysis and the stability of our algorithm-selected features are empirically confirmed.

研究动机与目标

• 解决现有无监督特征选择方法缺乏算法稳定性保证的问题。
• 开发一种能通过理论界保证泛化性能的特征选择算法。
• 通过保留原始特征的相关性而不映射到新空间，实现可解释的特征选择。
• 通过实证验证所选特征在不同数据扰动与超参数设置下的稳定性与泛化性能。

提出的方法

• 该算法使用一个神经网络（NN），通过其特征评分器基于特征的重构效用，为所有输入特征全局分配评分。
• 采用一个依赖的子神经网络，局部评估高分特征的表征能力，以实现特征选择。
• 该方法构建了一个联合优化目标，平衡重构误差与正则化项，并通过算法稳定性分析推导出泛化误差界。
• 理论分析建立了统一稳定性界 $\mathcal{O}\left(1/\left(n\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/n\right)$ 和泛化误差界 $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$。
• 该架构在主神经网络与子神经网络之间共享参数，保持了与自编码器相当的计算效率。
• 实证验证使用了10个真实世界数据集，将重构性能与下游分类性能与最先进基线方法进行比较。

实验结果

研究问题

• RQ1 所提出的特征选择算法是否实现了可证明的算法稳定性与泛化误差界？
• RQ2 所选特征在重构与分类任务中与原始全特征集相比表现如何？
• RQ3 所选特征在不同数据划分与扰动下是否保持稳定？
• RQ4 样本量 $n$、正则化参数 $\lambda_1$ 以及所选特征数量 $k$ 等超参数如何影响算法的稳定性与泛化性能？

主要发现

• 所提算法实现了 $\mathcal{O}\left(1/\left(\sqrt{n}\min\{\sqrt{\lambda_{1}},\lambda_{1}\}\right)+1/\sqrt{n}\right)$ 的泛化误差界，验证了理论性能保证。
• 该算法表现出统一稳定性，稳定性界随训练样本数 $n$ 增加而减小，与理论预测一致。
• 在10个真实世界数据集上，该算法在数据重构与下游分类任务中均优于强基线方法。
• 所选特征在性能上与原始全特征集相当，表明其具有高实用性与代表性。
• 实证结果证实，所选特征在不同随机数据划分下高度稳定，重复实验中几乎选择到完全相同的特征集合。
• 计算成本约为自编码器的两倍，但由于参数共享与相似的优化结构，额外开销极小。