[论文解读] Drift Theory in Continuous Search Spaces: Expected Hitting Time of the (1+1)-ES with 1/5 Success Rule

Youhei Akimoto, Anne Auger+1 more|arXiv (Cornell University)|Feb 9, 2018

Optimization and Search Problems参考文献 12被引用 7

一句话总结

本文提出了一种用于连续优化的新型漂移分析框架，将其应用于在球函数上使用1/5成功规则的(1+1)-ES。它建立了首次非渐近的首次 hitting 时间期望的界，证明了线性收敛性，并揭示了收敛速率与$\Theta(1/d)$的依赖关系，展示了漂移理论在连续领域中的强大能力。

ABSTRACT

This paper explores the use of the standard approach for proving runtime bounds in discrete domains---often referred to as drift analysis---in the context of optimization on a continuous domain. Using this framework we analyze the (1+1) Evolution Strategy with one-fifth success rule on the sphere function. To deal with potential functions that are not lower-bounded, we formulate novel drift theorems. We then use the theorems to prove bounds on the expected hitting time to reach a certain target fitness in finite dimension $d$. The bounds are akin to linear convergence. We then study the dependency of the different terms on $d$ proving a convergence rate dependency of $Θ(1/d)$. Our results constitute the first non-asymptotic analysis for the algorithm considered as well as the first explicit application of drift analysis to a randomized search heuristic with continuous domain.

研究动机与目标

• 将离散域漂移分析技术扩展至连续优化问题，其中势函数可能无下界。
• 在有限维连续空间中分析(1+1)-ES在球函数上使用1/5成功规则的行为。
• 建立达到目标适应度水平$\epsilon$的期望首次 hitting 时间的非渐近界。
• 量化收敛速率对维度$d$的依赖关系，表明其具有$\Theta(1/d)$的缩放特性。
• 首次明确将漂移分析应用于连续领域中的随机搜索元启发式算法。

提出的方法

• 为连续领域中无界势函数提出新颖的漂移定理，使能够分析潜在值可能发散的算法。
• 定义一个基于均值向量范数的势函数$V(\theta_t) = \log\|m_t\|$，用于追踪向最优解的进展。
• 建立一个漂移条件，对势函数期望变化的下界$L$和上界$U$进行界定，表明$B \in \Theta(1/d)$。
• 利用漂移定理推导出期望首次 hitting 时间$\mathbb{E}[T_\epsilon]$的上下界，其中$T\_\epsilon$为达到$\|m_t\| \leq \epsilon$的时间。
• 借助与Wallis积分和相关性不等式相关的几何与概率论证，对对数范数的漂移进行界定。
• 将漂移定理应用于(1+1)-ES的动力学，证明期望首次 hitting 时间为$\Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$。

实验结果

研究问题

• RQ1 漂移分析能否成功地从离散领域扩展到连续搜索空间，特别是针对自适应进化算法？
• RQ2 (1+1)-ES在球函数上使用1/5成功规则的期望首次 hitting 时间的非渐近界是什么？
• RQ3 在有限维连续空间中，(1+1)-ES的收敛速率如何依赖于维度$d$？
• RQ4 能否提出新颖的漂移定理，以处理在接近最优解时趋于$-\infty$的无界势函数？
• RQ5 所推导的界在维度$d$和算法参数方面的紧致性如何？

主要发现

• 本文首次在连续领域中为使用1/5成功规则的(1+1)-ES在球函数上建立了非渐近运行时间界。
• 达到目标适应度$\epsilon$的期望首次 hitting 时间被界定为$\mathbb{E}[T_\epsilon] \in \Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$，表明其具有$\Theta(1/d)$速率依赖的线性收敛性。
• 势函数$V(\theta_t) = \log\|m_t\|$的漂移$B$被限定在$L$与$U$之间，两者均属于$\Theta(1/d)$，证实了收敛速率的$1/d$缩放特性。
• 漂移的下界$L$通过在步长的紧致区间上最小成功概率推导得出，确保对所有$d$都有$L > 0$。
• 通过分析当$d \to \infty$时成功概率的极限，证明了上界$U$属于$\Theta(1/d)$。
• 分析结果确认，该算法实现了线性收敛，且收敛速率与维度成反比，与实际中的经验观察一致。