[论文解读] Support Vector Machine Classifier via $L_{0/1}$ Soft-Margin Loss

Huajun Wang, Yuan‐Hai Shao+3 more|arXiv (Cornell University)|Dec 16, 2019

Sparse and Compressive Sensing Techniques参考文献 55被引用 7

一句话总结

该论文提出了一种使用非凸、离散软间隔损失的 $L_{0/1}$-SVM 分类器，以最小化误分类样本和支撑向量数量。通过 P-稳定点建立最优性理论，定义了 $L_{0/1}$ 支撑向量，并开发了一种结合工作集策略的快速近端 ADMM 算法，实现了更优的速度和更少的支撑向量，尤其在大规模数据集上表现突出。

ABSTRACT

Support vector machine (SVM) has attracted great attentions for the last two decades due to its extensive applications, and thus numerous optimization models have been proposed. To distinguish all of them, in this paper, we introduce a new model equipped with an $L_{0/1}$ soft-margin loss (dubbed as $L_{0/1}$-SVM) which well captures the nature of the binary classification. Many of the existing convex/non-convex soft-margin losses can be viewed as a surrogate of the $L_{0/1}$ soft-margin loss. Despite the discrete nature of $L_{0/1}$, we manage to establish the existence of global minimizer of the new model as well as revealing the relationship among its minimizers and KKT/P-stationary points. These theoretical properties allow us to take advantage of the alternating direction method of multipliers. In addition, the $L_{0/1}$-support vector operator is introduced as a filter to prevent outliers from being support vectors during the training process. Hence, the method is expected to be relatively robust. Finally, numerical experiments demonstrate that our proposed method generates better performance in terms of much shorter computational time with much fewer number of support vectors when against with some other leading methods in areas of SVM. When the data size gets bigger, its advantage becomes more evident.

研究动机与目标

• 为 $L_{0/1}$-SVM 建立严格的最优性理论，该模型是理论上理想但属于 NP-难问题的软间隔 SVM 模型。
• 基于 P-稳定点定义 $L_{0/1}$ 支撑向量，从而支持系统性的工作集策略。
• 开发一种高效且可扩展的算法，用于求解具有强经验性能的非凸 $L_{0/1}$-SVM 问题。
• 证明 $L_{0/1}$-SVM 在大规模数据上相比领先 SVM 求解器能产生更少的支撑向量并实现更快的收敛速度。

提出的方法

• 通过 P-稳定点建立全局最优解的存在性，并推导 $L_{0/1}$-SVM 的最优性条件。
• 将 $L_{0/1}$ 支撑向量定义为对偶问题中对应非零拉格朗日乘子的样本，尽管由于不连续性导致对偶问题无法显式推导。
• 提出一种基于 P-稳定点条件的工作集策略，以降低每次迭代的计算成本并加速收敛。
• 将工作集策略集成到近端交替方向乘子法（ADMM）中，以求解非凸的 $L_{0/1}$-SVM 问题。
• 在 ADMM 框架中使用 $L_{0/1}$ 近端算子，以处理非凸且不连续的损失函数。
• 采用线搜索策略，确保收敛到局部最优解并提供理论保证。

实验结果

研究问题

• RQ1 能否为非凸且不连续的 $L_{0/1}$-SVM（一种软间隔 SVM 模型）建立严格的最优性理论？
• RQ2 在缺乏标准对偶公式化的情况下，如何形式化定义 $L_{0/1}$ 支撑向量，并将其与 P-稳定点条件关联？
• RQ3 基于 P-稳定点的工作集策略是否能显著降低求解 $L_{0/1}$-SVM 的计算成本？
• RQ4 所提出的 $L_{0/1}$ ADMM 算法在大规模数据集上是否在计算速度和支撑向量数量方面优于现有 SVM 求解器？
• RQ5 在真实世界数据中，$L_{0/1}$-SVM 及其求解器对标签噪声和异常值的鲁棒性如何？

主要发现

• $L_{0/1}$ ADMM 求解器在大多数数据集上实现了最高的分类准确率（ACC），包括在 col 数据集上超过 90%，优于 HSVM 和 PSVM（均低于 80%）。
• $L_{0/1}$ ADMM 产生的支撑向量数量（NSV）在所有求解器中始终最少，且在标签噪声增加时保持稳定或略有下降。
• 对于包含 10 万样本的 ijc 数据集，$L_{0/1}$ ADMM 仅耗时 0.573 秒，而 HSVM 耗时 36.95 秒，表明在大规模数据上实现了 64 倍的加速。
• 在包含超过 1000 万个样本的 hig 数据集上，$L_{0/1}$ ADMM 仅用 14.26 秒完成，凸显其出色的可扩展性。
• 工作集大小（SWS/ITER）在所有数据集中均保持较小且稳定，证实了所提工作集策略的高效性。
• 在噪声增加时，尝试迭代次数（TNI）保持低水平且稳定，表明算法具有鲁棒性并能高效收敛。