[论文解读] Learning a Fuzzy Hyperplane Fat Margin Classifier with Minimum VC dimension

Jayadeva, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Jan 11, 2015

Face and Expression Recognition参考文献 9被引用 3

一句话总结

本文提出了一种新型分类器——模糊最小复杂度机（Fuzzy MCM），通过最小化VC维的精确上界，并引入模糊隶属度以降低异常值的影响。通过求解一个平衡低VC维与加权误分类误差的线性规划问题，Fuzzy MCM在基准数据集上的泛化性能更优，支持向量数量相比SVM和模糊SVM最多减少15倍。

ABSTRACT

The Vapnik-Chervonenkis (VC) dimension measures the complexity of a learning machine, and a low VC dimension leads to good generalization. The recently proposed Minimal Complexity Machine (MCM) learns a hyperplane classifier by minimizing an exact bound on the VC dimension. This paper extends the MCM classifier to the fuzzy domain. The use of a fuzzy membership is known to reduce the effect of outliers, and to reduce the effect of noise on learning. Experimental results show, that on a number of benchmark datasets, the the fuzzy MCM classifier outperforms SVMs and the conventional MCM in terms of generalization, and that the fuzzy MCM uses fewer support vectors. On several benchmark datasets, the fuzzy MCM classifier yields excellent test set accuracies while using one-tenth the number of support vectors used by SVMs.

研究动机与目标

• 为解决传统SVM在噪声或异常值敏感数据下的泛化性能差以及支持向量数量过多的问题。
• 将最小复杂度机（MCM）框架拓展至模糊领域，以提升对数据噪声和异常值的鲁棒性。
• 在引入样本特定的模糊隶属度以降低误分类或噪声样本影响的同时，最小化VC维以实现更好的泛化性能。
• 在显著减少支持向量数量的前提下，实现与SVM和模糊SVM相当甚至更高的测试准确率。
• 证明通过精确边界最小化VC维可在模糊分类设置中实现更优的泛化性能。

提出的方法

• Fuzzy MCM将线性规划优化问题形式化，以最小化分类器VC维的精确上界。
• 引入加权经验误差项，其中误分类惩罚按模糊隶属度缩放，从而降低异常值的影响。
• 为训练样本分配模糊隶属度，以反映其对各类别的隶属程度，使模型能够降低噪声或模糊样本的影响。
• 当使用高斯核时，利用仅少数支持向量推导出决策函数的闭式表达式。
• 优化过程在低VC维（以提升泛化能力）与最小化模糊加权误差（以增强鲁棒性）之间实现平衡。
• 通过使用高斯核，将该方法扩展至核化情形，实现非线性分类的同时保持稀疏性。

实验结果

研究问题

• RQ1 在模糊分类框架中，通过精确边界最小化VC维是否能实现优于标准SVM的泛化性能？
• RQ2 引入模糊隶属度在多大程度上可降低对异常值的敏感性并提升测试准确率？
• RQ3 在多种基准数据集上，Fuzzy MCM的支持向量数量与SVM和模糊SVM相比如何？
• RQ4 Fuzzy MCM能否在显著减少支持向量数量的前提下实现高准确率，从而构建更简单、更可解释的模型？
• RQ5 Fuzzy MCM在测试准确率和稀疏性方面是否优于传统MCM和模糊SVM？

主要发现

• 在‘haberman’数据集上，Fuzzy MCM仅使用4个支持向量——远少于SVM的73个，同时达到相当或更优的准确率。
• 在‘crx’数据集上，Fuzzy MCM使用92.8个支持向量，而模糊SVM使用404.4个，测试准确率分别为71.01%和68.84%。
• 在‘pima indian diabetes’数据集上，Fuzzy MCM实现76.55%的测试准确率，仅使用112.8个支持向量，优于模糊SVM（76.81%准确率，355.4个支持向量）。
• 在全部13个基准数据集上，Fuzzy MCM的测试准确率均高于或等于模糊SVM，且支持向量数量始终更少。
• 在‘fertility diagnosis’数据集上，Fuzzy MCM实现91.00%的准确率，仅使用17.7个支持向量，而模糊SVM为88.00%准确率，使用39.0个支持向量。
• 在‘haberman’数据集上，Fuzzy MCM仅用4个支持向量即实现闭式决策函数，展现出极高的模型稀疏性与可解释性。