[论文解读] Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach

Hien D. Nguyen, Geoffrey J. McLachlan|arXiv (Cornell University)|May 12, 2017

Sparse and Compressive Sensing Techniques参考文献 4被引用 4

一句话总结

本文提出一种主要化-最小化（MM）框架，用于推导支持向量机（SVM）的迭代重加权最小二乘法（IRLS）算法，适用于多种损失函数和惩罚函数。通过利用MM范式，该方法确保风险函数单调递减，并全局收敛至驻点，为SVM优化提供了一种灵活且全局收敛的替代传统二次规划的方法，适用于合页损失、最小二乘损失、平方合页损失和逻辑损失，以及1-范数、2-范数和弹性网络惩罚。

ABSTRACT

Support vector machines (SVMs) are an important tool in modern data analysis. Traditionally, support vector machines have been fitted via quadratic programming, either using purpose-built or off-the-shelf algorithms. We present an alternative approach to SVM fitting via the majorization--minimization (MM) paradigm. Algorithms that are derived via MM algorithm constructions can be shown to monotonically decrease their objectives at each iteration, as well as be globally convergent to stationary points. We demonstrate the construction of iteratively-reweighted least-squares (IRLS) algorithms, via the MM paradigm, for SVM risk minimization problems involving the hinge, least-square, squared-hinge, and logistic losses, and 1-norm, 2-norm, and elastic net penalizations. Successful implementations of our algorithms are presented via some numerical examples.

研究动机与目标

• 开发一种超越传统二次规划的全局收敛、单调优化框架，用于SVM拟合。
• 将IRLS算法扩展至原始SVM公式之外，以包含多样化的损失函数和惩罚函数。
• 证明MM范式可为一大类SVM风险最小化问题提供稳定且收敛的IRLS更新。
• 提供一种统一的算法方法，适用于各种SVM变体，包括使用非标准损失函数的SVM。

提出的方法

• 通过主要化-最小化（MM）框架构建代理函数，以近似原始SVM风险函数。
• 通过最小化一系列二次主要化函数推导IRLS更新，确保每次迭代中目标函数单调递减。
• 将该方法应用于合页损失、最小二乘损失、平方合页损失和逻辑损失函数，结合1-范数、2-范数和弹性网络惩罚。
• 利用二阶泰勒近似和凸性性质构建易于最小化的主要化函数。
• 通过基于当前参数估计更新权重实现迭代重加权，以在每一步改进主要化函数。
• 通过合成数据的数值示例验证收敛性和性能，显示迭代过程中风险持续降低。

实验结果

研究问题

• RQ1 MM框架能否用于推导具有多样化损失函数和惩罚函数的SVM的全局收敛IRLS算法？
• RQ2 通过MM方法提出的IRLS算法是否能确保风险函数在迭代过程中单调递减？
• RQ3 IRLS-MM算法在不同SVM公式（包括合页损失、最小二乘损失和逻辑损失）中的表现如何？
• RQ4 该方法能否在统一框架中推广以包含1-范数、2-范数和弹性网络惩罚？
• RQ5 在合成分类任务中，该算法的收敛速度和分离质量的实证行为如何？

主要发现

• 通过MM框架推导出的IRLS算法在每次迭代中均表现出风险函数的单调递减，如图1至图4所示。
• 由于MM算法的理论性质，即使对主要化函数进行近似，也能保证全局收敛至驻点。
• 在图5中，所有四种测试损失函数——合页损失、最小二乘损失、平方合页损失和逻辑损失——均产生了良好的分离超平面，表明分类性能出色。
• 即使对于在实际风险上无正式单调性保证的算法（如算法6和10），风险轨迹仍保持单调递减，表明近似策略具有鲁棒性。
• 该方法成功在单一统一框架内处理了多种惩罚类型（1-范数、2-范数、弹性网络），展示了广泛的适用性。
• 该方法与分布式和并行计算框架兼容，如其与[17]分布式SVM框架的一致性所示。