[论文解读] A ranking approach to global optimization

Cédric Malherbe, Nicolas Vayatis|arXiv (Cornell University)|Mar 14, 2016

Machine Learning and Algorithms参考文献 19被引用 6

一句话总结

本文提出了一种新颖的全局优化框架，将问题建模为由未知目标函数诱导的排序规则学习，从而在无需平滑性或凸性假设的情况下实现高效优化。通过利用二部排序方法和凸水平集结构，该方法实现了收敛性保证，并在基准测试中表现出强劲的实证性能，优于当前最先进的无导数优化方法。

ABSTRACT

We consider the problem of maximizing an unknown function over a compact and convex set using as few observations as possible. We observe that the optimization of the function essentially relies on learning the induced bipartite ranking rule of f. Based on this idea, we relate global optimization to bipartite ranking which allows to address problems with high dimensional input space, as well as cases of functions with weak regularity properties. The paper introduces novel meta-algorithms for global optimization which rely on the choice of any bipartite ranking method. Theoretical properties are provided as well as convergence guarantees and equivalences between various optimization methods are obtained as a by-product. Eventually, numerical evidence is given to show that the main algorithm of the paper which adapts empirically to the underlying ranking structure essentially outperforms existing state-of-the-art global optimization algorithms in typical benchmarks.

研究动机与目标

• 解决非凸、非平滑函数的全局优化问题，同时最小化函数评估次数。
• 通过聚焦于函数诱导的排序结构，消除对局部平滑性假设的依赖。
• 开发一种元算法框架，可集成任意二部排序方法以实现全局优化。
• 为所提出的优化方案提供理论收敛性保证和统计一致性。
• 通过实证验证该方法在性能上与当前最先进的无导数优化算法具有竞争力。

提出的方法

• 该方法将全局优化建模为二部排序问题，目标是学习输入点之间函数值的相对排序。
• 提出 RankOpt，一种元算法，利用已知的排序结构引导序列采样向全局最优值逼近。
• 提出 RankOpt 的自适应变体，能够从数据中学习潜在的排序结构，而无需先验知识。
• 该方法依赖于凸水平集，并利用观测点的凸包来定义改进的候选区域。
• 理论分析表明，凸包级联为空等价于排名损失为零，从而确保收敛至全局最优解。
• 该方法使用阶梯函数的连续近似来构建具有所需排序和凸水平集特性的光滑函数。

实验结果

研究问题

• RQ1 即使目标函数缺乏平滑性，全局优化能否被有效重构为二部排序问题？
• RQ2 哪些条件可确保基于排序的优化算法具有统计一致性和收敛性？
• RQ3 所提出的基于排序的方法与现有无导数优化技术相比性能如何？
• RQ4 该方法能否在无先验假设的情况下适应未知的排序结构？
• RQ5 凸包的几何结构与优化过程收敛性之间存在何种关系？

主要发现

• 所提出的 RankOpt 算法在弱假设下可收敛至全局最优解，且无需目标函数具备局部平滑性。
• 理论分析证明，若凸包级联非空，则排名损失为零，这等价于识别出全局最大值点。
• 该算法的自适应版本能从数据中经验性地学习潜在的排序结构，并在标准全局优化基准测试中表现具有竞争力。
• 该方法展现出强劲的实证性能，在多样化的测试函数上与当前最先进的无导数优化算法相当或更优。
• 建立了学习算法与优化过程之间的理论等价关系，支持高效优化方案的设计与实现。
• 该框架对高维输入空间和弱正则性条件具有鲁棒性，因其仅依赖于函数值的诱导排序。