[论文解读] Black-box optimization on hyper-rectangle using Recursive Modified Pattern Search and application to ROC-based Classification Problem

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Statistical Methods and Models参考文献 48被引用 2

一句话总结

本文提出递归改进模式搜索（RMPS），一种用于超长方体域上黑箱函数的无导数全局优化算法。该算法采用坐标轴方向的搜索策略，结合自适应步长与并行评估机制，高效优化非光滑、多峰目标函数——在阿尔茨海默病生物标志物组合的AUC最大化任务中，相比模拟退火法提速最高达368倍，且优于逐次下降算法。

ABSTRACT

In statistics, it is common to encounter multi-modal and non-smooth likelihood (or objective function) maximization problems, where the parameters have known upper and lower bounds. This paper proposes a novel derivative-free global optimization technique that can be used to solve those problems even when the objective function is not known explicitly or its derivatives are difficult or expensive to obtain. The technique is based on the pattern search algorithm, which has been shown to be effective for black-box optimization problems. The proposed algorithm works by iteratively generating new solutions from the current solution. The new solutions are generated by making movements along the coordinate axes of the constrained sample space. Before making a jump from the current solution to a new solution, the objective function is evaluated at several neighborhood points around the current solution. The best solution point is then chosen based on the objective function values at those points. Parallel threading can be used to make the algorithm more scalable. The performance of the proposed method is evaluated by optimizing up to 5000-dimensional multi-modal benchmark functions. The proposed algorithm is shown to be up to 40 and 368 times faster than genetic algorithm (GA) and simulated annealing (SA), respectively. The proposed method is also used to estimate the optimal biomarker combination from Alzheimer's disease data by maximizing the empirical estimates of the area under the receiver operating characteristic curve (AUC), outperforming the contextual popular alternative, known as step-down algorithm.

研究动机与目标

• 解决在导数难以计算的情况下，对具有已知边界、非凸、非光滑黑箱目标函数的优化挑战。
• 开发一种可扩展的无导数优化技术，在保持全局收敛性的同时，提升高维空间中的计算效率。
• 改进现有方法在阿尔茨海默病分类中优化经验受试者工作特征曲线下面积（AUC）时的性能。
• 在模式搜索算法中实现并行计算，以减少昂贵目标函数的运行时间。
• 证明算法对初始起点具有鲁棒性，并在全局最优解位于可行区域边界时仍具有效性。

提出的方法

• RMPS通过在当前解的周围2n个点上评估目标函数，执行坐标轴方向的搜索：沿每个坐标轴方向前进一步长和后退一步长。
• 在每次迭代中，基于目标函数值从2n个候选点中选择最优解，并相应地更新当前解。
• 当未发现改进时，步长自适应减半，实现局部精细化并促进收敛。
• 该算法支持最多2n个并行线程，用于评估邻域点，显著加速昂贵目标函数的计算。
• 在局部凸性和可微性假设下建立了理论收敛性，且在紧集上保证全局收敛。
• 该方法已在MATLAB中实现，同时提供可在CRAN上获取的R包（RMPSH），以提升可及性。

实验结果

研究问题

• RQ1 无导数模式搜索算法是否能在高维黑箱优化中，相比遗传算法（GA）和模拟退火（SA）等成熟元启发式方法，实现更优的收敛速度与解质量？
• RQ2 RMPS在优化非光滑、多峰目标函数（如基于ROC的分类中的经验AUC）时表现如何？
• RQ3 邻域评估的并行化在高维问题中能在多大程度上提升运行时间的可扩展性？
• RQ4 RMPS的性能是否在高维空间中对初始起点的选择高度敏感？
• RQ5 当真实解位于可行超长方体边界的条件下，RMPS是否仍能有效定位全局最优解？

主要发现

• 在5000维基准函数上，RMPS的收敛速度相比遗传算法（GA）最快提升40倍。
• 在相同基准问题上，RMPS相比模拟退火（SA）最快提速达368倍。
• 在阿尔茨海默病生物标志物组合的AUC最大化任务中，RMPS生成的HUM（异质性潜在模型）目标值高于逐次下降算法。
• 由RMPS优化系数导出的线性评分，在Youden指数分类中产生的聚类更少重叠，优于逐次下降法。
• 在高达5000维的问题中，RMPS在多个初始点下均表现出一致性能，表明对初始化不敏感。
• 当真实解为可行区域边界点时，该算法仍能成功定位全局最优解。