[论文解读] Fast Genetic Algorithms

Benjamin Doerr, Huu Phuoc Le+2 more|arXiv (Cornell University)|Mar 9, 2017

Metaheuristic Optimization Algorithms Research参考文献 27被引用 12

一句话总结

本文提出了一种‘快速遗传算法’，采用重尾突变率——具体而言，是幂律分布的突变率 α/n，指数 β > 1——在多峰问题（如跳跃函数）上实现超指数级加速。该方法通过在搜索空间中实现高效的远距离跳跃，显著优于使用 1/n 突变率的标准 (1+1) EA，且在无需事先了解问题结构的前提下，对所有跳跃函数参数均实现了接近最优的运行时间。

ABSTRACT

For genetic algorithms using a bit-string representation of length~$n$, the general recommendation is to take $1/n$ as mutation rate. In this work, we discuss whether this is really justified for multimodal functions. Taking jump functions and the $(1+1)$ evolutionary algorithm as the simplest example, we observe that larger mutation rates give significantly better runtimes. For the $\jump_{m,n}$ function, any mutation rate between $2/n$ and $m/n$ leads to a speed-up at least exponential in $m$ compared to the standard choice. The asymptotically best runtime, obtained from using the mutation rate $m/n$ and leading to a speed-up super-exponential in $m$, is very sensitive to small changes of the mutation rate. Any deviation by a small $(1 \pm \eps)$ factor leads to a slow-down exponential in $m$. Consequently, any fixed mutation rate gives strongly sub-optimal results for most jump functions. Building on this observation, we propose to use a random mutation rate $α/n$, where $α$ is chosen from a power-law distribution. We prove that the $(1+1)$ EA with this heavy-tailed mutation rate optimizes any $\jump_{m,n}$ function in a time that is only a small polynomial (in~$m$) factor above the one stemming from the optimal rate for this $m$. Our heavy-tailed mutation operator yields similar speed-ups (over the best known performance guarantees) for the vertex cover problem in bipartite graphs and the matching problem in general graphs. Following the example of fast simulated annealing, fast evolution strategies, and fast evolutionary programming, we propose to call genetic algorithms using a heavy-tailed mutation operator \emph{fast genetic algorithms}.

研究动机与目标

• 挑战遗传算法中 1/n 突变率的常规推荐，尤其是在多峰适应度景观中。
• 分析 (1+1) EA 在不同突变率下的跳跃函数性能，揭示更高突变率（如 m/n）可实现超指数级加速。
• 解决最优性能对突变率微小偏差的敏感性问题，该问题使固定率方法失效。
• 提出一种随机的、重尾的突变率分布，使算法在多种多峰问题中均能实现鲁棒且接近最优的性能。
• 将重尾突变的优势扩展至组合优化问题（如顶点覆盖和匹配问题），证明其广泛适用性。

提出的方法

• 使用突变率 α/n，其中 α 从指数 β > 1 的幂律分布 Dₙ^β 中抽取，确保重尾行为。
• 确保任意单个位翻转的概率保持恒定，以保留标准位突变的关键特性。
• 通过提高搜索空间中罕见大跳跃的概率，实现对大汉明距离的高效探索。
• 证明所得到的 (1+1) FEAβ 在任意跳跃函数 Jump_{m,n} 上的期望优化时间，与最优率 m/n 仅相差多项式因子。
• 通过在排列表示中采用基本突变步骤，将相同突变机制应用于组合优化问题。
• 在 n 从 20 到 150 的 Jump_{m,n} 函数上进行实验验证，结果表明与标准 (1+1) EA 相比，最大提速达 2000 倍，β = 1.5 时表现最佳。

实验结果

研究问题

• RQ1 在多峰问题（如跳跃函数）上，使用显著大于 1/n 的突变率是否能带来更好的性能？
• RQ2 最优突变率对微小偏差的敏感性如何？这种敏感性能否被克服？
• RQ3 能否通过单一自适应突变率分布，在无需先验知识的前提下，实现对所有跳跃函数参数的近似最优性能？
• RQ4 重尾突变算子是否可推广至比特串表示之外的其他组合优化问题？
• RQ5 与标准 (1+1) EA 相比，该方法在基准多峰问题上的运行时间改善程度如何量化？

主要发现

• 对于 Jump_{m,n} 函数，使用突变率 m/n 可将期望优化时间降低至 (1+o(1))(e/m)^m n^m，相比标准 1/n 突变率实现超指数级改进。
• 任何与 m/n 偏差 (1±ε) 因子的突变率，均会导致运行时间呈指数级下降，表明固定率突变对参数极为敏感。
• 重尾突变算子 (1+1) FEAβ 即使在未预先知晓 m 的情况下，其期望优化时间也与最优率仅相差多项式因子。
• 在二分图中的顶点覆盖问题上，该方法实现的加速比超过最佳已知性能保证，且加速程度在问题规模上呈超指数级增长。
• 在一般图中的匹配问题上，该方法也实现了类似加速，证明其在比特串问题之外具有广泛适用性。
• 实验结果表明，当 β = 1.5 时，该算法在 n 介于 20 到 150 的 Jump_{8,n} 上，相比标准 (1+1) EA 最多提速达 2000 倍。