[论文解读] Lasting Diversity and Superior Runtime Guarantees for the $(μ+1)$ Genetic Algorithm

Benjamin Doerr, Aymen Echarghaoui+2 more|arXiv (Cornell University)|Feb 24, 2023

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文证明了$(\mu+1)$ GA在Jump函数上能以$\mu$的指数时间维持种群多样性，显著扩展了先前的二次方界。这导致更优的运行时间保证：当$\mu \geq C\ln n$时，算法在$\textsc{Jump}_k$上以$O(n^{k-1})$时间完成优化，即使在对数规模种群下，也实现了$\Omega(n)$的加速，归因于交叉操作的优势。

ABSTRACT

Most evolutionary algorithms (EAs) used in practice employ crossover. In contrast, only for few and mostly artificial examples a runtime advantage from crossover could be proven with mathematical means. The most convincing such result shows that the $(μ+1)$ genetic algorithm (GA) with population size $μ=O(n)$ optimizes jump functions with gap size $k \ge 3$ in time $O(n^k / μ+ n^{k-1}\log n)$, beating the $Θ(n^k)$ runtime of many mutation-based EAs. This result builds on a proof that the GA occasionally and then for an expected number of $Ω(μ^2)$ iterations has a population that is not dominated by a single genotype. In this work, we show that this diversity persist with high probability for a time exponential in $μ$ (instead of quadratic). From this better understanding of the population diversity, we obtain stronger runtime guarantees, among them the statement that for all $c\ln(n)\leμ\le n/\log n$, with $c$ a suitable constant, the runtime of the $(μ+1)$ GA on $\mathrm{Jump}_k$, with $k \ge 3$, is $O(n^{k-1})$. Consequently, already with logarithmic population sizes, the GA gains a speed-up of order $Ω(n)$ from crossover.

研究动机与目标

• 理解在$(\mu+1)$ GA中，为何交叉操作在Jump函数上能带来运行时间优势。
• 分析种群多样性在Jump函数平台区域的持续时间，特别是该区域的持久性。
• 通过严格证明多样性持续时间长于以往已知结果，从而改进运行时间保证。
• 研究更强的多样性是否带来更好的性能，尤其是在小种群规模下。
• 通过实证验证理论发现，包括种群中汉明距离的分布。

提出的方法

• 将最大基因型类别大小建模为马尔可夫过程，以模拟种群多样性的动态演化。
• 证明当最大基因型类别大小降至$\frac{3}{4}\mu$以下时，其具有恒定的负漂移，从而确保多样性的指数级持续时间。
• 利用随机支配与漂移分析，证明多样性可维持$\exp(\Omega(\mu))$代。
• 通过多样性持续时间与交叉操作生成最优解的概率之间的相互作用，推导出运行时间界。
• 开展实证实验，追踪种群在平台阶段的成对汉明距离。
• 将实证中汉明距离的频率趋势与理论预期及先前工作进行比较。

(a) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=100$ , $k=5$ , $\mu=20$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .

实验结果

研究问题

• RQ1 $(\mu+1)$ GA在$\textsc{Jump}_k$的平台区域能维持多久的种群多样性？
• RQ2 能否证明多样性持续时间是$\mu$的指数函数，而非先前工作中所知的二次方？
• RQ3 对于小种群规模$\mu = \Omega(\ln n)$，该多样性持续时间对$(\mu+1)$ GA的运行时间有何影响？
• RQ4 种群多样性是否不仅避免单一基因型占据主导，还导致成对汉明距离增加？
• RQ5 对汉明距离频率的实证观察是否能支持理论中关于持续且增强的多样性的主张？

主要发现

• 当最大基因型类别大小低于$\frac{3}{4}\mu$后，其表现出恒定的负漂移，确保多样性可维持$\exp(\Omega(\mu))$代。
• 对于所有满足$\mu \geq C\ln n$（$C$为合适常数）的情况，$(\mu+1)$ GA在$\textsc{Jump}_k$上的运行时间为$O(n^{k-1})$，实现了$\Omega(n)$的交叉加速。
• 即使$\mu = \Omega(\ln n)$，算法仍可实现$O(n^{k-1})$的运行时间，显著优于Dang等人的$O(n^k / \mu)$界。
• 对于较小的$\mu$，运行时间为$O(e^{-\Omega(\mu)}n^k)$，相较于先前工作的$O(n^k / \mu)$保证，实现了显著改进。
• 实证结果证实，个体之间的汉明距离随时间增长，较高距离的频率上升，表明多样性不断增强。
• 种群动态显示，多样性不仅被维持，还向更大的成对距离演化，支持了更强性能的假设。

(b) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=1000$ , $k=5$ , $\mu=200$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .