[论文解读] Cost-Sensitive Support Vector Machines

Hamed Masnadi-Shirazi, Nuno Vasconcelos+1 more|arXiv (Cornell University)|Dec 5, 2012

Imbalanced Data Classification Techniques参考文献 42被引用 27

一句话总结

本文提出了一种新型支持向量机扩展——成本敏感支持向量机（CS-SVM），该方法将合页损失推广至包含类别相关误分类成本的场景。通过将CS-SVM定义为贝叶斯一致、成本敏感风险的最小化器，该方法在非对称成本下确保了最优决策边界，并通过严格的对偶性与正则化分析，在类别不平衡及成本敏感数据集上优于现有方法。

ABSTRACT

A new procedure for learning cost-sensitive SVM(CS-SVM) classifiers is proposed. The SVM hinge loss is extended to the cost sensitive setting, and the CS-SVM is derived as the minimizer of the associated risk. The extension of the hinge loss draws on recent connections between risk minimization and probability elicitation. These connections are generalized to cost-sensitive classification, in a manner that guarantees consistency with the cost-sensitive Bayes risk, and associated Bayes decision rule. This ensures that optimal decision rules, under the new hinge loss, implement the Bayes-optimal cost-sensitive classification boundary. Minimization of the new hinge loss is shown to be a generalization of the classic SVM optimization problem, and can be solved by identical procedures. The dual problem of CS-SVM is carefully scrutinized by means of regularization theory and sensitivity analysis and the CS-SVM algorithm is substantiated. The proposed algorithm is also extended to cost-sensitive learning with example dependent costs. The minimum cost sensitive risk is proposed as the performance measure and is connected to ROC analysis through vector optimization. The resulting algorithm avoids the shortcomings of previous approaches to cost-sensitive SVM design, and is shown to have superior experimental performance on a large number of cost sensitive and imbalanced datasets.

研究动机与目标

• 为解决在类别不平衡或误分类成本不等场景下，支持向量机缺乏系统性成本敏感扩展的问题。
• 克服现有方法（如边界偏移和有偏置惩罚）的局限性，这些方法无法在成本敏感约束下最优地同时调整超平面和阈值。
• 开发一种理论基础坚实的、一致的损失函数，将标准合页损失推广至支持成本敏感学习。
• 确保所得分类器最小化贝叶斯最优成本敏感风险，与非对称成本下的决策理论保持一致。
• 为示例相关成本提供统一框架，并通过向量优化将性能与ROC分析相连接。

提出的方法

• 利用风险最小化与概率诱导之间最新建立的联系，将标准SVM合页损失扩展为成本敏感形式。
• 将CS-SVM推导为一种新型贝叶斯一致风险函数的最小化器，该函数推广了经典SVM优化问题。
• 对对偶问题应用正则化理论与敏感性分析，确保理论一致性与鲁棒性。
• 引入一种改进的合页损失，其中正类与负类的惩罚分别按 $ C_1 $ 和 $ C_{-1} $ 进行加权。
• 利用共轭对偶性推导对偶优化问题，整合核方法，并通过等式约束处理偏置项。
• 通过建模个体误分类成本，将框架扩展至示例相关成本，并将最小风险与ROC空间上的向量优化相连接。

实验结果

研究问题

• RQ1 标准SVM合页损失能否被推广以支持成本敏感分类，同时保持贝叶斯一致性？
• RQ2 SVM优化问题如何修改，才能在非对称成本下同时调整超平面法向 $ w $ 和阈值 $ b $？
• RQ3 新提出的成本敏感损失与不等误分类成本下的贝叶斯最优决策规则之间存在何种理论关系？
• RQ4 与边界移动和有偏置惩罚等现有方法相比，所提出的CS-SVM在性能与一致性方面表现如何？
• RQ5 最小成本敏感风险能否与ROC分析有意义地关联，以用于性能评估？

主要发现

• 所提出的CS-SVM在各类类别不平衡及成本敏感数据集上，实验性能显著优于现有方法。
• 通过构建与成本敏感贝叶斯决策规则一致的损失函数，该方法确保了贝叶斯一致性，从而保证了最优分类边界。
• CS-SVM的对偶问题被严格推导，并被证明是标准SVM对偶问题的推广，可通过标准二次规划求解器求解。
• 该框架通过扩展损失函数并建立最小风险与ROC空间上向量优化的联系，成功处理了示例相关成本。
• 理论分析表明，CS-SVM通过在损失函数中正确整合成本不对称性，避免了先前方法的缺陷（如无法同时调整 $ w $ 和 $ b $）。
• 实证结果表明，CS-SVM在非可分及高度不平衡数据场景下，显著优于边界移动与有偏置惩罚方法。