[论文解读] Feature Selection through Minimization of the VC dimension

Jayadeva, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Oct 27, 2014

Face and Expression Recognition参考文献 28被引用 4

一句话总结

该论文提出了一种新颖的特征选择方法，通过最小化VC维来识别稀疏且高度判别性的特征子集。通过训练一个内在促进稀疏性的线性MCM分类器，该方法仅选择最相关的特征——通常仅占总特征数的0.6%，在测试准确率上与ReliefF和FCBF相当或更优，同时使用的特征数量显著更少。

ABSTRACT

Feature selection involes identifying the most relevant subset of input features, with a view to improving generalization of predictive models by reducing overfitting. Directly searching for the most relevant combination of attributes is NP-hard. Variable selection is of critical importance in many applications, such as micro-array data analysis, where selecting a small number of discriminative features is crucial to developing useful models of disease mechanisms, as well as for prioritizing targets for drug discovery. The recently proposed Minimal Complexity Machine (MCM) provides a way to learn a hyperplane classifier by minimizing an exact (\boldmath{$Θ$}) bound on its VC dimension. It is well known that a lower VC dimension contributes to good generalization. For a linear hyperplane classifier in the input space, the VC dimension is upper bounded by the number of features; hence, a linear classifier with a small VC dimension is parsimonious in the set of features it employs. In this paper, we use the linear MCM to learn a classifier in which a large number of weights are zero; features with non-zero weights are the ones that are chosen. Selected features are used to learn a kernel SVM classifier. On a number of benchmark datasets, the features chosen by the linear MCM yield comparable or better test set accuracy than when methods such as ReliefF and FCBF are used for the task. The linear MCM typically chooses one-tenth the number of attributes chosen by the other methods; on some very high dimensional datasets, the MCM chooses about $0.6\%$ of the features; in comparison, ReliefF and FCBF choose 70 to 140 times more features, thus demonstrating that minimizing the VC dimension may provide a new, and very effective route for feature selection and for learning sparse representations.

研究动机与目标

• 为解决在高维数据中选择最小但高度判别性特征子集以提升模型泛化能力的挑战。
• 通过利用理论基础坚实的模型复杂度度量——VC维，作为特征选择的标准，以减少过拟合和计算成本。
• 开发一种通用、非迭代且可扩展的特征选择方法，避免包装法的高计算成本以及过滤法的局限性。
• 证明最小化VC维可产生稀疏表示，且其预测性能可与现有最先进方法相当或更优。

提出的方法

• 训练线性MCM以最小化VC维的精确上界，这在本质上促进了权重向量的稀疏性。
• 将MCM解中非零权重对应的特征选为下游分类任务中最相关的特征。
• 在所选特征上训练带有高斯RBF核的核SVM，以评估泛化性能。
• MCM优化问题通过凸规划求解，被表述为带有间隔和范数约束的二次规划问题。
• 该方法使用依赖于非零特征数量的VC维理论界，直接将特征数量与模型复杂度关联起来。
• 特征选择仅通过单次遍历完成，无需迭代搜索，因此相比包装法具有更高的计算效率。

实验结果

研究问题

• RQ1 最小化VC维是否可作为高维数据集中有效且理论基础坚实的特征选择标准？
• RQ2 基于VC维最小化的特征选择方法是否在准确率和稀疏性方面优于ReliefF和FCBF等成熟过滤方法？
• RQ3 MCM在多大程度上能够生成稀疏表示，同时保持或提升测试准确率，并显著减少所选特征数量？
• RQ4 基于MCM的特征选择方法在不同维度和样本量的多样化基准数据集上是否具备可扩展性和鲁棒性？

主要发现

• 在West数据集（49 × 7129）上，MCM仅选择了32个特征（占总数的0.45%），测试准确率为79.7% ± 6.8%，优于ReliefF（2207个特征，65.3% ± 3.2%）和FCBF（1802个特征，59.19% ± 3.1%）。
• 在Golub数据集（72 × 7129）上，MCM选择了47个特征（占总数的0.66%），测试准确率为95.8% ± 4.2%，与FCBF（7129个特征）持平，且优于ReliefF（2271个特征，90.3% ± 4.8%）。
• 在Singh数据集（102 × 12600）上，MCM选择了81个特征（占总数的0.64%），测试准确率为91.2% ± 3.9%，优于ReliefF（5650个特征，89.2% ± 2.0%），并与FCBF（11619个特征，92.5% ± 2.7%）相当。
• 在所有基准数据集中，MCM始终选择的特征数少于ReliefF和FCBF的十分之一，同时保持或提升了测试准确率。
• 在Christensen数据集（198 × 1413）上，所有方法均表现出接近完美的性能（99.5% ± 0.7%），但MCM仅选择了98个特征（占总数的6.9%），而ReliefF选择了633个，FCBF选择了1413个。
• MCM能够学习稀疏表示的能力得到证实：核MCM中的支持向量数量少于标准SVM的十分之一，表明其具有更强的泛化能力和稀疏性。