[论文解读] A Fast and Robust TSVM for Pattern Classification

Bin-Bin Gao, Jianjun Wang|arXiv (Cornell University)|Nov 15, 2017

Face and Expression Recognition参考文献 40被引用 6

一句话总结

该论文提出了一种快速且鲁棒的孪生支持向量机（FR-TSVM），通过引入一种新型模糊隶属度函数来降低噪声敏感性，并利用带缩减的坐标下降算法加速训练。与SVM、FSVM和标准TSVM相比，该方法在基准数据集上实现了更快的收敛速度和更优的鲁棒性。

ABSTRACT

Twin support vector machine~(TSVM) is a powerful learning algorithm by solving a pair of smaller SVM-type problems. However, there are still some specific issues such as low efficiency and weak robustness when it is faced with some real applications. In this paper, we propose a Fast and Robust TSVM~(FR-TSVM) to deal with the above issues. In order to alleviate the effects of noisy inputs, we propose an effective fuzzy membership function and reformulate the TSVMs such that different input instances can make different contributions to the learning of the separating hyperplanes. To further speed up the training procedure, we develop an efficient coordinate descent algorithm with shirking to solve the involved a pair of quadratic programming problems (QPPs). Moreover, theoretical foundations of the proposed model are analyzed in details. The experimental results on several artificial and benchmark datasets indicate that the FR-TSVM not only obtains a fast learning speed but also shows a robust classification performance. Code has been made available at: https://github.com/gaobb/FR-TSVM.

研究动机与目标

• 解决孪生SVM在计算效率和对噪声数据鲁棒性方面的局限性。
• 设计一种模糊隶属度函数，根据样本与聚类的结构接近程度差异化地加权训练实例，以降低异常值的影响。
• 通过为求解对偶二次规划问题设计高效的带缩减坐标下降算法，加速训练过程。
• 确保所提模型在大规模模式分类任务中具备理论严谨性和实际可扩展性。

提出的方法

• 提出一种新型模糊隶属度函数，基于样本到类别聚类的距离分配隶属度值，以区分支持向量与异常值。
• 将模糊隶属度引入TSVM，重构为一种鲁棒优化问题，使噪声样本对决策超平面学习的贡献降低。
• 采用带缩减的坐标下降法求解所得的两个小规模二次规划问题，以加速收敛。
• 在非线性FR-TSVM中使用高斯核，并推导出具有唯一性证明和奇异性避免特性的对偶公式。
• 引入对参数敏感的设计，包含超参数 $ c_1, c_2, c_3, c_4, \mu, g $，其中 $ \mu $ 控制隶属度敏感度，$ g $ 调整核宽度。
• 实施热启动策略和迭代坐标更新规则，以提升数值稳定性和训练速度。

实验结果

研究问题

• RQ1 基于数据自适应的模糊隶属度函数能否提升TSVM对噪声样本的鲁棒性？
• RQ2 将模糊隶属度集成到TSVM中，是否能显著降低训练时间，相比标准SVM和TSVM？
• RQ3 所提出的带缩减坐标下降法与现有求解器相比，在收敛速度和内存效率方面表现如何？
• RQ4 FR-TSVM的性能在多大程度上依赖于超参数选择，特别是 $ g $ 和 $ \mu $ ？

主要发现

• 在Glass数据集上，FR-TSVM的平均准确率为97.21% ± 3.93，优于SVM（97.68% ± 3.95）和FSVM（96.77% ± 4.38），且方差更低，表现出更强的鲁棒性。
• 在Pima数据集上，FR-TSVM的准确率达到76.17% ± 2.68，相比TSVM和FSVM具有显著更短的训练时间。
• 在13个UCI数据集上的训练时间表明，FR-TSVM比TSVM和传统SVM更快，其快速收敛得益于带缩减的坐标下降法。
• 使用高斯核的非线性FR-TSVM在复杂数据集（如Ripleys合成数据）上表现优于线性FR-TSVM，准确率更高。
• 参数分析显示，核参数 $ g $ 和隶属度参数 $ \mu $ 对性能有显著影响，表明模型对超参数调优较为敏感。
• FR-TSVM在存在异常值的数据集上表现出更优的泛化能力和抗噪声能力，这通过多次运行中准确率的低标准差得到验证。