[论文解读] On Proving Linear Convergence of Comparison-based Step-size Adaptive Randomized Search on Scaling-Invariant Functions via Stability of Markov Chains

Anne Auger, Nikolaus Hansen|arXiv (Cornell University)|Oct 27, 2013

Metaheuristic Optimization Algorithms Research参考文献 31被引用 4

一句话总结

该论文通过证明底层马尔可夫链的稳定性，建立了在尺度不变函数上比较型步长自适应随机搜索（CB-SARS）的线性收敛性。通过利用不变性特性，该研究统一并分析了经典与现代的无导数算法——如CMA-ES、xNES和C-RS，证明了在尺度不变性下，稳定的马尔可夫链意味着线性收敛。

ABSTRACT

Abstract. In the context of numerical optimization, this paper develops a methodology to ana-lyze the linear convergence of comparison-based step-size adaptive randomized search (CB-SARS), a class of probabilistic derivative-free optimization algorithms where the function is solely used through comparisons of candidate solutions. Various algorithms are included in the class of CB-SARS algo-rithms. On the one hand, a few methods introduced already in the 60’s: the step-size adaptive random search by Schumer and Steiglitz, the compound random search by Devroye and simplified versions of Matyas ’ random optimization algorithm or Kjellstrom and Taxen Gaussian adaptation. On the other hand, it includes simplified versions of several recent algorithms: the covariance-matrix-adaptation evolution strategy algorithm (CMA-ES), the exponential natural evolution strategy (xNES), or the cross entropy method. CB-SARS algorithms typically exhibit several invariances. First of all, invariance to composing the objective function with a strictly monotonic transformation which is a direct consequence of the fact that the algorithms only use comparisons. Second, scale invariance that translates the fact that the algorithm has no intrinsic absolute notion of scale. The algorithms are investigated on scaling-invariant functions defined as functions that preserve

研究动机与目标

• 建立一个通用的理论框架，用于证明比较型步长自适应随机搜索（CB-SARS）算法的线性收敛性。
• 分析CB-SARS在尺度不变函数上的收敛行为，这些函数在单调变换和尺度变化下保持不变。
• 通过利用不变性特性，将经典与现代的无导数优化算法统一于同一理论框架之下。
• 证明由算法诱导的马尔可夫链的稳定性意味着在尺度不变函数上存在线性收敛性。
• 通过概率与随机稳定性分析，为理解CMA-ES、xNES和C-RS等算法的收敛性提供严谨的理论基础。

提出的方法

• 将CB-SARS形式化为一个马尔可夫过程，其中步长和搜索分布根据候选解的比较结果进行自适应调整。
• 将尺度不变函数定义为在搜索空间的正尺度变换和目标函数的单调变换下保持不变的函数。
• 证明算法的动力学在尺度变换和单调变换下保持不变，从而支持基于不变性的分析。
• 利用随机过程与马尔可夫链理论的工具，证明线性收敛性源于控制算法演化的马尔可夫链的稳定性。
• 通过验证其更新规则是否满足稳定马尔可夫链所需条件，将稳定性准则应用于CMA-ES、xNES和C-RS等具体算法。
• 采用基于比较的自适应机制，消除对绝对函数值的依赖，转而关注相对性能排序。

实验结果

研究问题

• RQ1 在何种条件下，比较型步长自适应随机搜索算法在尺度不变函数上实现线性收敛？
• RQ2 如何利用底层马尔可夫链的稳定性来证明CB-SARS算法的线性收敛性？
• RQ3 经典与现代的无导数算法（如CMA-ES和xNES）在多大程度上可被纳入同一理论收敛框架？
• RQ4 不变性（特别是尺度不变性与单调变换不变性）在实现统一收敛分析中起到何种作用？
• RQ5 能否通过其随机过程的概率稳定性，严格建立仅依赖于比较的算法的收敛性？

主要发现

• 通过关联马尔可夫链的稳定性，证明了CB-SARS算法在尺度不变函数上的线性收敛性。
• 该分析将包括CMA-ES、xNES、C-RS在内的广泛算法类别统一于单一理论框架之下。
• 不变性特性——特别是尺度不变性与单调变换不变性——是实现基于稳定性的收敛性证明的关键。
• 该方法表明，若算法诱导的马尔可夫链是稳定的，则在尺度不变函数上可保证线性收敛。
• 该框架适用于20世纪60年代的历史性算法与现代最先进的方法，展示了其广泛的理论适用性。
• 研究结果为理解基于比较的自适应搜索在无导数优化中的经验成功提供了严谨的理论基础。