[论文解读] Diversifying Support Vector Machines for Boosting using Kernel Perturbation: Applications to Class Imbalance and Small Disjuncts

Shounak Datta, Sayak Nag+2 more|arXiv (Cornell University)|Dec 22, 2017

Imbalanced Data Classification Techniques参考文献 25被引用 4

一句话总结

该论文提出KPBoost-SVM，一种基于核扰动的提升框架，通过自适应地修改RBF核以增强误分类点附近的可分性，从而实现支持向量机的多样性。该方法聚焦于局部数据异常，如类别不平衡和小分离簇，提升了少数类和子概念的性能，在使用新指标几何小分离簇指数（GSDI）评估的多样化数据集上，优于当前最先进方法。

ABSTRACT

The diversification (generating slightly varying separating discriminators) of Support Vector Machines (SVMs) for boosting has proven to be a challenge due to the strong learning nature of SVMs. Based on the insight that perturbing the SVM kernel may help in diversifying SVMs, we propose two kernel perturbation based boosting schemes where the kernel is modified in each round so as to increase the resolution of the kernel-induced Reimannian metric in the vicinity of the datapoints misclassified in the previous round. We propose a method for identifying the disjuncts in a dataset, dispelling the dependence on rule-based learning methods for identifying the disjuncts. We also present a new performance measure called Geometric Small Disjunct Index (GSDI) to quantify the performance on small disjuncts for balanced as well as class imbalanced datasets. Experimental comparison with a variety of state-of-the-art algorithms is carried out using the best classifiers of each type selected by a new approach inspired by multi-criteria decision making. The proposed method is found to outperform the contending state-of-the-art methods on different datasets (ranging from mildly imbalanced to highly imbalanced and characterized by varying number of disjuncts) in terms of three different performance indices (including the proposed GSDI).

研究动机与目标

• 解决SVM在类别不平衡和小分离簇数据集上性能不佳的问题，原因在于SVM的稳定性以及集成学习中缺乏多样性。
• 克服传统重采样和核扰动方法的局限性，这些方法无法选择性地针对难分类区域。
• 提出一种新颖的自适应核扰动策略，提高误分类点附近核诱导的黎曼度量的分辨率。
• 引入一种新性能指标——几何小分离簇指数（GSDI），以定量评估在代表性不足的子概念上的性能。
• 通过多准则决策方法选择分类器，证明所提方法在多种数据集上优于最先进算法。

提出的方法

• 在每次提升轮次中，通过修改RBF核的参数σ，对核进行扰动，以在误分类实例周围提高局部分辨率。
• 采用动态核更新规则，放大误分类点附近的成对距离，以促进新支持向量和多样化决策边界的生成。
• 引入基于核诱导黎曼度量的几何准则，识别需要更高可分性分辨率的区域。
• 开发一种不依赖于规则系统的小分离簇检测方法，实现对数据中自动识别代表性不足的小型子概念。
• 使用提升框架将扰动后的SVM组合成集成模型，后续轮次中为误分类样本分配更高权重。
• 采用多准则决策方法，从每类基分类器中选择表现最佳的模型，确保与最先进方法的公平比较。

实验结果

研究问题

• RQ1 自适应核扰动是否能有效在提升框架中实现SVM的多样性，从而提升在类别不平衡和小分离簇数据集上的性能？
• RQ2 在SVM提升中，通过提高误分类点附近局部分辨率的核扰动，与传统重采样或全局核修改相比有何优势？
• RQ3 所提方法在不依赖规则学习的前提下，能在多大程度上检测并改善小分离簇的分类性能？
• RQ4 所提几何小分离簇指数（GSDI）与标准指标相比，在捕捉代表性不足子概念性能方面表现如何？
• RQ5 所提KPBoost-SVM框架是否在各类别不平衡程度和分离簇复杂度不同的数据集上，始终优于最先进提升与集成方法？

主要发现

• 在MMD和MHD数据集上，KPBoost-SVM在所提GSDI指标下显著优于所有对比方法，包括AdaBoost-MLP、RUSBoost和AKS-χ²*。
• 在MMD1数据集上，KPBoost-SVM的GSDI达到1.0000，为所有方法中的最高值，表明其在小分离簇上表现完美。
• 在MHD9数据集上，KPBoost-SVM的GSDI为0.7076，优于次优方法（AdaBoost-MLP*）的0.6762，表明其在高度不平衡数据上的鲁棒性。
• 在所有数据集上，该方法的平均GSDI为0.8426，显著高于第二好的方法（AKS-χ²*为0.7329），并在小分离簇上表现出一致的改进。
• 所提的小分离簇检测方法成功识别了子概念而无需规则假设，从而实现了对代表性不足模式的针对性改进。
• 多准则分类器选择方法确保了每类中表现最佳的模型被选用，验证了KPBoost-SVM在多样化实验设置下优越性的稳健性。