[论文解读] A Mathematical Programming approach to Binary Supervised Classification with Label Noise

Víctor Blanco, Alberto Japón+1 more|arXiv (Cornell University)|Apr 21, 2020

Advanced Statistical Methods and Models参考文献 35被引用 7

一句话总结

本文提出一种基于数学规划的SVM方法，用于二元监督分类，通过联合检测和校正标签噪声，将混合整数线性与非线性规划公式化，以重新标记训练集中错误标记的样本。该方法在标签噪声环境下显著优于标准SVM，尤其在高攻击率（40–50%）下，准确率提升最高达10%，在UCI数据集基准测试中表现优异。

ABSTRACT

In this paper we propose novel methodologies to construct Support Vector Machine -based classifiers that takes into account that label noises occur in the training sample. We propose different alternatives based on solving Mixed Integer Linear and Non Linear models by incorporating decisions on relabeling some of the observations in the training dataset. The first method incorporates relabeling directly in the SVM model while a second family of methods combines clustering with classification at the same time, giving rise to a model that applies simultaneously similarity measures and SVM. Extensive computational experiments are reported based on a battery of standard datasets taken from UCI Machine Learning repository, showing the effectiveness of the proposed approaches.

研究动机与目标

• 为解决真实应用场景（如垃圾邮件过滤和欺诈检测）中训练数据标签噪声带来的分类器性能下降问题。
• 开发一种鲁棒的分类框架，可同时识别错误标记的样本并构建最优分离超平面。
• 通过将重标记决策直接整合到SVM优化过程中，提升泛化能力与最大间隔性能。
• 在不同水平的对抗性标签翻转攻击下评估方法性能，特别关注类别不平衡数据集的表现。
• 提供一种可直接使用商业MIP求解器（如GUROBI、CPLEX）求解的实用化公式，适用于真实世界部署。

提出的方法

• 构建一个混合整数非线性规划（MINLP）模型，将标签重标记决策整合到SVM优化中，对错误重标记施加惩罚，同时最大化间隔并最小化误分类。
• 提出三种不同模型：RE-SVM（在SVM内进行重标记）、2-medians-SVM与2-means-SVM，通过结合聚类与分类技术检测并校正噪声标签。
• 利用核技巧将方法扩展至非线性分类，实现在高维特征空间中的分离。
• 采用双目标优化框架，平衡间隔最大化、误差最小化与重标记成本，其中整数变量表示样本是否被重标记。
• 通过交叉验证校准超参数，并在5个数据集分区、5种攻击场景及每组5折交叉验证下评估性能。
• 所有模型均使用商业MIP求解器求解，确保方法在标准基准数据集上的实际适用性与可扩展性。

实验结果

研究问题

• RQ1 在SVM中联合优化标签重标记与超平面构建，能否提升对标签噪声的鲁棒性？
• RQ2 在对抗性标签翻转程度逐渐增加的情况下，所提方法与标准SVM相比表现如何？
• RQ3 将聚类与SVM结合是否能增强对错误标记样本的检测能力并提升分类准确率？
• RQ4 在使用更复杂模型（如2-medians-SVM与2-means-SVM）时，准确率提升与计算时间之间的权衡如何？
• RQ5 所提出的基于MIP的方法是否能有效利用现成求解器在真实世界数据集上求解？

主要发现

• 所提模型在所有测试数据集中均显著优于标准SVM，在轻度噪声（20%）下准确率提升3–5%，在重度噪声（50%）下最高提升达10%。
• RE-SVM在所有噪声水平下均优于标准SVM，在50%噪声下，BreastCancer与Vertebral数据集的准确率提升达5–10%。
• 在高噪声（40–50%）条件下，2-medians-SVM与2-means-SVM优于RE-SVM，其中在Vertebral数据集上准确率最高提升达10%。
• 箱线图分析（图5）表明，RE-SVM的性能分布比SVM更集中，而2-medians-SVM与2-means-SVM在攻击下表现出更稳定的性能。
• 所有模型均可使用商业MIP求解器（如GUROBI、CPLEX）求解，证明了方法的实际可行性与可扩展性。
• 该方法在类别不平衡数据集（如Heart与BreastCancer）中尤为有效，其中误报代价高昂，而标准SVM在噪声环境下表现失效。