[论文解读] A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning

Alexandre Reeberg de Mello, Jonathan de Matos+3 more|arXiv (Cornell University)|Apr 26, 2019

Metaheuristic Optimization Algorithms Research参考文献 32被引用 5

一句话总结

该论文提出Ortho-MADS，一种基于正交方向的确定性网格自适应直接搜索算法，用于高斯核SVM的超参数调优。该方法保证收敛性，通过网格尺寸实现动态停止，并结合Nelder-Mead与可变邻域搜索策略，在基准数据集上实现更高的准确率和更快的收敛速度，优于现有方法。

ABSTRACT

In this paper, we propose the use of a black-box optimization method called deterministic Mesh Adaptive Direct Search (MADS) algorithm with orthogonal directions (Ortho-MADS) for the selection of hyperparameters of Support Vector Machines with a Gaussian kernel. Different from most of the methods in the literature that exploit the properties of the data or attempt to minimize the accuracy of a validation dataset over the first quadrant of (C, gamma), the Ortho-MADS provides convergence proof. We present the MADS, followed by the Ortho-MADS, the dynamic stopping criterion defined by the MADS mesh size and two different search strategies (Nelder-Mead and Variable Neighborhood Search) that contribute to a competitive convergence rate as well as a mechanism to escape from undesired local minima. We have investigated the practical selection of hyperparameters for the Support Vector Machine with a Gaussian kernel, i.e., properly choose the hyperparameters gamma (bandwidth) and C (trade-off) on several benchmark datasets. The experimental results have shown that the proposed approach for hyperparameter tuning consistently finds comparable or better solutions, when using a common configuration, than other methods. We have also evaluated the accuracy and the number of function evaluations of the Ortho-MADS with the Nelder-Mead search strategy and the Variable Neighborhood Search strategy using the mesh size as a stopping criterion, and we have achieved accuracy that no other method for hyperparameters optimization could reach.

研究动机与目标

• 解决现有黑箱超参数优化方法在SVM中缺乏收敛性保证的问题。
• 通过利用确定性的网格自适应搜索，提升高斯核SVM超参数选择的效率与鲁棒性。
• 基于网格尺寸设计动态停止准则，以平衡计算成本与解的质量。
• 通过混合搜索策略（Nelder-Mead与可变邻域搜索）增强局部搜索能力，避免陷入较差的局部极小值。

提出的方法

• 以网格自适应直接搜索（MADS）框架为基础，用于SVM超参数的无导数优化。
• 在搜索步骤中引入正交方向，以提高探索效率与收敛特性。
• 采用基于网格尺寸的动态停止准则，确保收敛性，且无需梯度信息。
• 集成两种搜索策略——Nelder-Mead与可变邻域搜索，以增强局部搜索能力并避免早熟收敛。
• 将该算法应用于调优RBF-SVM中的两个关键超参数：C（正则化参数）与gamma（核带宽）。
• 使用基于验证准确率的目标函数，不依赖于数据特定假设或象限约束。

实验结果

研究问题

• RQ1 基于正交方向的确定性网格自适应直接搜索能否在SVM超参数调优中实现优于现有启发式方法的收敛性与解质量？
• RQ2 基于网格尺寸的动态网格大小停止准则如何影响准确率与计算成本之间的权衡？
• RQ3 Nelder-Mead与可变邻域搜索策略在多大程度上提升了收敛速度与逃离局部极小值的能力？
• RQ4 Ortho-MADS是否在多种基准数据集上持续优于其他最先进的超参数优化技术？

主要发现

• Ortho-MADS在多个基准数据集上实现了高于其他超参数优化方法的分类准确率。
• 在相同配置下，该算法始终能找到与现有方法相当或更优的解。
• Nelder-Mead与可变邻域搜索策略的结合显著提升了收敛速度与鲁棒性。
• 基于网格尺寸的动态停止准则有效平衡了计算效率与解的质量。
• 该方法展示了收敛性证明，是现有文献中许多基于启发式方法的重要优势。
• Ortho-MADS实现了本研究中报告的其他超参数优化方法均未达到的准确率水平。