[论文解读] A Novel Model of Working Set Selection for SMO Decomposition Methods

Zhendong Zhao, Lei Yuan+3 more|arXiv (Cornell University)|Jun 5, 2007

Advanced Algorithms and Applications参考文献 20被引用 6

一句话总结

本文提出了一种用于支持向量机（SVM）训练中序列最小优化（SMO）的新型工作集选择方法，称为无重选工作集选择（WSS-WR），该方法永久排除已选变量在未来迭代中的重新选择。通过利用二阶信息并避免冗余迭代，WSS-WR在内存受限条件下实现了更快的收敛速度和更短的训练时间，尤其在多种数据集和核函数类型下，优于现有方法如WSS 3。

ABSTRACT

In the process of training Support Vector Machines (SVMs) by decomposition methods, working set selection is an important technique, and some exciting schemes were employed into this field. To improve working set selection, we propose a new model for working set selection in sequential minimal optimization (SMO) decomposition methods. In this model, it selects B as working set without reselection. Some properties are given by simple proof, and experiments demonstrate that the proposed method is in general faster than existing methods.

研究动机与目标

• 解决因重复或低效的工作集选择导致的分解方法在SVM训练中收敛缓慢的问题。
• 减少基于SMO的SVM求解器中的迭代次数与训练时间。
• 在内存受限条件下（如缓存大小较小）开发一种保持高效的工作集选择策略。
• 通过消除对先前选择变量的重选，超越现有方法如WSS 1、WSS 2和WSS 3。
• 在包含RBF、Sigmoid和多项式核函数等多种数据集和核函数上验证该方法的鲁棒性。

提出的方法

• 提出WSS-WR，一种新型工作集选择模型，选择一对变量{i,j}作为工作集，并在后续迭代中永不重新考虑它们。
• 利用二阶信息指导选择，通过聚焦于最具前景的对偶变量提升收敛速度。
• 采用Chen等人提出的算法2处理非正定核矩阵，确保数值稳定性。
• 实施非重选策略：一旦某对变量被选中，即永久排除在后续工作集候选之外。
• 采用改进的子问题公式，引入正则化项τ，以处理Hessian近似非正定的情况。
• 将该方法集成到SMO框架中，在保持双变量更新机制的同时提升选择效率。

实验结果

研究问题

• RQ1 在SMO工作集选择中，若消除对先前选择变量对的重选，是否能实现更快的收敛速度和更短的训练时间？
• RQ2 在不同核函数和数据集大小下，WSS-WR与WSS 3在迭代次数和训练速度上的表现如何比较？
• RQ3 在内存受限条件下（如小缓存大小），WSS-WR是否仍能保持或提升性能？
• RQ4 非重选策略在多大程度上减少了冗余迭代，同时不损害收敛质量？
• RQ5 在参数选择阶段与最终训练阶段，尤其在应用缩减技术时，WSS-WR的表现如何？

主要发现

• 与WSS 3相比，WSS-WR显著减少了迭代次数，迭代次数比值（WSS 3 / WSS-WR）在不同数据集中介于1.12至1.38之间。
• 训练时间大幅缩短，尤其在参数选择阶段，时间比值（WSS 3 / WSS-WR）在某些配置下高达3.5倍。
• 即使仅使用1MB缓存，WSS-WR仍能保持快速收敛，而WSS 3在内存受限条件下性能急剧下降。
• 在所有测试数据集（a9a、w8a、IJCNN1等）中，WSS-WR在“参数选择”和“最终训练”两个阶段的表现均优于WSS 3。
• 在LIBSVM中使用缩减技术时，对WSS-WR几乎无益处，表明WSS-WR的选择策略已实现高度效率。
• 收敛图显示，WSS-WR比WSS 3更快达到最优目标值并更早终止，而WSS 3在后期迭代中常无显著进展。