[论文解读] A Parallel Way to Select the Parameters of SVM Based on the Ant Optimization Algorithm

Chao Zhang, Hong-cen Mei+1 more|arXiv (Cornell University)|May 19, 2014

Text and Document Classification Technologies参考文献 7被引用 5

一句话总结

本论文提出了一种基于改进的蚁群优化（ACO）算法并利用OpenCL加速的并行支持向量机（SVM）参数优化方法。通过将SVM参数C和σ建模为二维网格中的坐标，并使用基于信息素的蚁群搜索，以交叉验证准确率为适应度指标，该方法在Wine数据集上实现了95.45%的分类准确率，且在使用30只蚂蚁的情况下，500次迭代内收敛至最优参数。

ABSTRACT

A large number of experimental data shows that Support Vector Machine (SVM) algorithm has obvious advantages in text classification, handwriting recognition, image classification, bioinformatics, and some other fields. To some degree, the optimization of SVM depends on its kernel function and Slack variable, the determinant of which is its parameters $δ$ and c in the classification function. That is to say,to optimize the SVM algorithm, the optimization of the two parameters play a huge role. Ant Colony Optimization (ACO) is optimization algorithm which simulate ants to find the optimal path.In the available literature, we mix the ACO algorithm and Parallel algorithm together to find a well parameters.

研究动机与目标

• 为解决SVM参数C和σ的最优选择问题，因其显著影响分类性能。
• 通过利用OpenCL实现的GPU加速并行计算，提升基于ACO的参数调优效率与收敛速度。
• 在ACO中集成交叉验证准确率作为适应度函数，以引导蚁群探索高性能的参数组合。
• 通过可扩展、可移植且与架构无关的计算模型，在真实世界数据集上验证并行ACO-SVM框架的有效性。

提出的方法

• 将SVM参数C和σ建模为二维网格中的坐标，其中C的有效数字映射到x轴，σ映射到y轴（0–10），以实现离散搜索空间的表示。
• 实现一种改进的ACO算法，其中每只蚂蚁通过基于信息素水平τ和启发式信息η的概率选择方式构建路径，采用轮盘赌选择机制。
• 使用交叉验证准确率作为适应度信号：每只蚂蚁的路径被映射为(C, σ)，并通过对k折交叉验证计算准确率来评估所生成的SVM模型，该准确率用于驱动信息素更新。
• 利用OpenCL并行化蚂蚁路径构建与交叉验证评估过程，每只蚂蚁独立在计算设备上处理，实现跨数千个线程的大规模并行计算。
• 使用公式Δτ(x,y) = Q / (1 - Acc_k) 更新信息素水平，若蚂蚁k访问节点(x,y)，否则为0，通过ρ = 0.7实现全局信息素衰减。
• 当达到最大迭代次数（N_max = 500）或蚁群收敛至单一路径时终止算法，以确保稳定性和收敛性。

实验结果

研究问题

• RQ1 并行化的ACO算法能否有效优化SVM参数C和σ以提升分类准确率？
• RQ2 将交叉验证准确率作为适应度函数，对ACO参数搜索的收敛性与性能有何影响？
• RQ3 与串行执行相比，基于OpenCL的并行化在多大程度上减少了ACO-SVM参数调优的计算时间？
• RQ4 在ACO-SVM参数优化背景下，蚂蚁种群规模与收敛速度之间存在何种最优平衡？

主要发现

• 所提出的并行ACO-SVM方法在Wine数据集上实现了95.45%的最高分类准确率，其中88个测试样本中有76个被正确分类。
• 收敛准确率（即多次运行的平均交叉验证准确率）达到86.36%（76/88），表明具有良好的泛化能力。
• 最优参数组合为C = 18.605和σ = 0.6643，该组合最大化分类间隔并最小化分类误差。
• 使用OpenCL实现了蚂蚁路径构建与交叉验证的高效并行化，显著提升了相对于串行ACO的可扩展性与性能。
• 算法在500次迭代内使用30只蚂蚁实现稳定收敛，信息素更新规则有效引导搜索向高性能参数区域推进。
• 与基线ACO相比，该方法在收敛速度与准确率方面表现更优，验证了并行化与适应度函数设计的有效性。