[论文解读] Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm

Hiva Ghanbari, Katya Scheinberg|arXiv (Cornell University)|Mar 20, 2017

Machine Learning and Algorithms参考文献 23被引用 12

一句话总结

该论文提出使用基于信赖域的无导数优化（DFO-TR）方法，直接最大化机器学习中的曲线下面积（AUC），AUC是一种非光滑且具有噪声的函数。由于其高效的收敛性和对噪声的鲁棒性，该方法在超参数调优和AUC最大化方面优于贝叶斯优化和随机搜索，尤其在高维问题中表现更优。

ABSTRACT

In this work, we utilize a Trust Region based Derivative Free Optimization (DFO-TR) method to directly maximize the Area Under Receiver Operating Characteristic Curve (AUC), which is a nonsmooth, noisy function. We show that AUC is a smooth function, in expectation, if the distributions of the positive and negative data points obey a jointly normal distribution. The practical performance of this algorithm is compared to three prominent Bayesian optimization methods and random search. The presented numerical results show that DFO-TR surpasses Bayesian optimization and random search on various black-box optimization problem, such as maximizing AUC and hyperparameter tuning.

研究动机与目标

• 为解决在机器学习中优化非光滑、具有噪声的性能度量（如AUC）的挑战，而无需依赖梯度信息。
• 评估无导数优化（DFO）方法，特别是基于信赖域的DFO-TR，在与贝叶斯优化和随机搜索的比较中的有效性。
• 研究DFO-TR在高维黑箱优化问题中的可扩展性和实际性能。
• 证明DFO-TR能够高效优化线性分类器的AUC以及RBF核SVM的超参数，即使在存在噪声或子采样数据的情况下也能实现。
• 为将DFO-TR作为贝叶斯优化在超参数调优和模型评估中的可扩展替代方案，提供理论和实证依据。

提出的方法

• DFO-TR算法使用信赖域框架，迭代构建并优化目标函数的局部模型，避免显式计算梯度。
• 该方法采用一种随机变体（S-DFO-TR），通过子采样训练数据来降低每次迭代的计算成本，同时保持收敛性。
• 在AUC最大化中，该算法将AUC视为分类器权重的黑箱函数，仅使用函数评估，且在步骤失败后通过重采样来校正噪声评估。
• 信赖域子问题使用二次模型求解，步长根据实际减少量与预测减少量之比（ρ_k）进行调整。
• 采用具有自适应采样的线搜索以提高鲁棒性：若实际改进不足（ρ_k < η₀），则使用新随机样本重新评估函数。
• 该方法被应用于线性分类器的AUC最大化以及具有三个连续超参数（λ, γ, c_p）的RBF核SVM的超参数调优。

实验结果

研究问题

• RQ1 基于信赖域的无导数方法（DFO-TR）能否在不依赖梯度信息的情况下，有效优化AUC这一非光滑且具有噪声的性能度量？
• RQ2 在AUC最大化和超参数调优任务中，DFO-TR与贝叶斯优化和随机搜索相比，在性能和效率方面表现如何？
• RQ3 DFO-TR的随机变体（S-DFO-TR）是否在降低大样本数据集上的计算成本的同时，仍能保持收敛性和性能？
• RQ4 与贝叶斯优化和随机搜索相比，DFO-TR在更高维搜索空间（例如，超过3个维度）中的可扩展性如何？
• RQ5 DFO-TR能否在真实世界机器学习问题（如代价敏感SVM调优）中实现更快的收敛速度和更优的最终性能？

主要发现

• DFO-TR在最大化线性分类器的AUC方面，始终优于贝叶斯优化和随机搜索，以更少的函数评估次数实现了更高的平均AUC值。
• S-DFO-TR在保持与确定性DFO-TR相当收敛速度的同时，通过数据子采样显著降低了每次迭代的计算成本，尤其在早期迭代中效果明显。
• 在RBF核SVM的三维超参数调优问题中，DFO-TR的测试准确率高于随机搜索和贝叶斯优化方法，包括在贝叶斯优化基线中表现最佳的SMAC。
• 该算法对噪声函数评估表现出强鲁棒性：通过在失败步骤后重采样，避免了因采样方差导致的虚假高AUC值陷阱。
• DFO-TR在具有非凸、不连续目标函数（如AUC）的问题中表现优异，而梯度方法在此类问题中失效，且其最终目标值优于平滑近似方法。
• 在高维空间中，DFO-TR的可扩展性优于贝叶斯优化，其计算成本的增长趋势更优，远低于贝叶斯优化在高维中典型的指数级增长。