[论文解读] A Fast SVM-based Feature Selection Method, Combining MFE (Margin-Maximizing Feature Elimination) and Upper Bound on Misclassification Risk

Yaman Aksu|arXiv (Cornell University)|Oct 16, 2012

Imbalanced Data Classification Techniques被引用 2

一句话总结

该论文提出了一种快速的基于SVM的特征选择方法，结合了最大间隔特征消除（MFE）与数据半径利用，以降低泛化误差。通过引入一种新型的软间隔轻量级重训练方法（QP1）和半径感知的消除准则，该方法优于MFE-LO，在高维、小样本数据集上实现了更低的测试误差率。

ABSTRACT

Margin maximization in the hard-margin sense, proposed as feature elimination criterion by the MFE-LO method, is combined here with data radius utilization to further aim to lower generalization error, as several published bounds and bound-related formulations pertaining to lowering misclassification risk (or error) pertain to radius e.g. product of squared radius and weight vector squared norm. Additionally, we propose additional novel feature elimination criteria that, while instead being in the soft-margin sense, too can utilize data radius, utilizing previously published bound-related formulations for approaching radius for the soft-margin sense, whereby e.g. a focus was on the principle stated therein as finding a bound whose minima are in a region with small leave-one-out values may be more important than its tightness. These additional criteria we propose combine radius utilization with a novel and computationally low-cost soft-margin light classifier retraining approach we devise named QP1; QP1 is the soft-margin alternative to the hard-margin LO. We correct an error in the MFE-LO description, find MFE-LO achieves the highest generalization accuracy among the previously published margin-based feature elimination (MFE) methods, discuss some limitations of MFE-LO, and find our novel methods herein outperform MFE-LO, attain lower test set classification error rate. On several datasets that each both have a large number of features and fall into the `large features few samples' dataset category, and on datasets with lower (low-to-intermediate) number of features, our novel methods give promising results. Especially, among our methods the tunable ones, that do not employ (the non-tunable) LO approach, can be tuned more aggressively in the future than herein, to aim to demonstrate for them even higher performance than herein.

研究动机与目标

• 通过降低误分类风险，提升高维、小样本数据集上的特征选择泛化性能。
• 通过在选择准则中引入数据半径，解决现有基于间隔的特征消除方法（尤其是MFE-LO）的局限性。
• 开发一种计算高效的软间隔替代方法，以替代计算成本较高的硬间隔LO重训练方法，命名为QP1。
• 提出新颖的特征消除准则，利用软间隔设置下的边界相关公式和数据半径。
• 与先前的MFE方法相比，展示出更优的分类误差降低效果，尤其在特征数量多、样本数量少的数据集上。

提出的方法

• 提出一种基于硬间隔意义下最大间隔的新型特征消除准则，并通过数据半径利用降低泛化误差。
• 提出一种新颖的软间隔特征消除方法，将数据半径整合到边界相关公式中，重点是最小化留一法误差而非紧致性。
• 开发QP1，一种轻量级、计算高效的软间隔SVM重训练方法，作为更昂贵的LO重训练方法的替代方案。
• 更正了先前关于MFE-LO方法描述中的错误，并重新评估其性能，确认其为迄今表现最佳的MFE方法。
• 将半径感知准则与QP1结合，构建可调节的特征选择方法，在多个基准数据集上优于MFE-LO。
• 采用边界相关公式，优先关注留一法值较低的区域，与最小化泛化误差的目标保持一致。

实验结果

研究问题

• RQ1 将数据半径纳入基于间隔的特征选择中，是否能比现有MFE方法更有效地降低泛化误差？
• RQ2 所提出的软间隔、半径感知特征选择方法在测试误差率方面与MFE-LO相比表现如何？
• RQ3 QP1重训练方法在保持分类准确性的前提下，能在多大程度上提升软间隔SVM的计算效率？
• RQ4 所提出的方法是否能在高维且样本数量少的数据集上实现优于MFE-LO的性能？
• RQ5 所提出的方法在多大程度上可调节？更激进的调优是否能进一步提升其性能，超越报告结果？

主要发现

• 经更正后的MFE-LO方法在以往发表的基于间隔的特征消除方法中实现了最高的泛化准确率。
• 所提出的新型方法优于MFE-LO，在多个数据集上实现了更低的测试集分类误差率。
• 在特征数量多、样本数量少的数据集上，所提出的方法展现出有希望且一致的性能提升。
• 不依赖非可调LO方法的所提出方法的可调版本，通过更激进的调优，展现出实现更高性能的潜力。
• 将数据半径整合到软间隔特征消除准则中，可提升泛化性能，尤其在以最小化留一法误差为指导时效果更显著。
• QP1实现了高效的软间隔重训练，使所提出方法在高维数据集上具备计算可行性。