[论文解读] From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Jun 18, 2022

Advanced Bandit Algorithms Research参考文献 66被引用 6

一句话总结

本文提出了一种用于估计分布算法（EDAs）的智能重启机制，通过基于预算的重启策略动态调整种群大小，以避免遗传漂变，该策略基于对漂变发生时机的定量分析。该方法在UḾDA和cGA等基准问题上实现了渐近最优的运行时间性能，且无需手动调整种群大小。

ABSTRACT

Estimation-of-distribution algorithms (EDAs) are optimization algorithms that learn a distribution on the search space from which good solutions can be sampled easily. A key parameter of most EDAs is the sample size (population size). If the population size is too small, the update of the probabilistic model builds on few samples, leading to the undesired effect of genetic drift. Too large population sizes avoid genetic drift, but slow down the process. Building on a recent quantitative analysis of how the population size leads to genetic drift, we design a smart-restart mechanism for EDAs. By stopping runs when the risk for genetic drift is high, it automatically runs the EDA in good parameter regimes. Via a mathematical runtime analysis, we prove a general performance guarantee for this smart-restart scheme. This in particular shows that in many situations where the optimal (problem-specific) parameter values are known, the restart scheme automatically finds these, leading to the asymptotically optimal performance. We also conduct an extensive experimental analysis. On four classic benchmark problems, we clearly observe the critical influence of the population size on the performance, and we find that the smart-restart scheme leads to a performance close to the one obtainable with optimal parameter values. Our results also show that previous theory-based suggestions for the optimal population size can be far from the optimal ones, leading to a performance clearly inferior to the one obtained via the smart-restart scheme. We also conduct experiments with PBIL (cross-entropy algorithm) on two combinatorial optimization problems from the literature, the max-cut problem and the bipartition problem. Again, we observe that the smart-restart mechanism finds much better values for the population size than those suggested in the literature, leading to a much better performance.

研究动机与目标

• 为解决EDAs中选择最优种群大小这一关键挑战，由于小种群易导致遗传漂变，而大种群则带来计算成本，因此难以权衡。
• 设计一种无需参数的重启策略，可自动识别并避开遗传漂变导致性能下降的区域。
• 通过理论和实验验证，智能重启机制在多种EDAs变体和基准问题上均实现了渐近最优的运行时间性能。

提出的方法

• 该机制在重启之间采用指数增长的种群大小，每种群大小均基于对遗传漂变发生时机的定量分析设定函数评估预算。
• 该预算源自Doerr和Zheng（2022）先前工作的理论估计，即采样频率可能漂向错误边界的时机。
• 若检测到遗传漂变风险较高（即频率达到边界值的可能性较大），则提前终止每次重启。
• 该策略应用于单变量EDAs（cGA、UMDA）和多变量变体（PBIL），性能与原始设置及其他重启策略进行对比。
• 在合理假设种群大小对运行时间依赖关系的前提下，通过数学运行时间分析证明其渐近最优性。
• 实验在经典基准问题（OneMax、LeadingOnes、Jump、DeceptiveLeadingBlocks）和组合优化问题（max-cut、bipartition）上进行，基于20次独立运行进行统计比较。

实验结果

研究问题

• RQ1 智能重启机制能否通过检测遗传漂变的起始时机，自动识别EDAs中的最优种群大小，而无需手动调参？
• RQ2 所提出的重启策略是否在标准EDAs基准问题（如UMDA和cGA）上实现渐近最优的运行时间性能？
• RQ3 在max-cut和bipartition等组合优化问题上，智能重启机制与其它重启策略（如HL、AH）及原始EDAs设置相比表现如何？
• RQ4 重启条件中的预算因子（b）在多大程度上影响性能？更小的预算是否因更早检测到漂变而更有效？
• RQ5 在真实应用场景中（如PBIL在max-cut和bipartition问题上），该机制能否超越文献建议的种群大小？

主要发现

• 在合理运行时间假设下，智能重启机制在cGA和UMDA上实现了渐近最优的运行时间性能，其性能与理论下界仅相差常数因子。
• 在DeceptiveLeadingBlocks问题上，智能重启cGA的性能接近最优种群大小，避免了小种群下出现的指数级运行时间。
• 对于OneMax和LeadingOnes问题，使用小预算因子（b = 6η/(ρ²ln n)）的智能重启PBIL，其中位运行时间分别为8,430和26,942次函数评估，显著优于无边距的原始PBIL。
• 在max-cut和bipartition问题的20次独立运行中，使用b = 6η/(ρ²ln n)的智能重启PBIL在所有情况下均达到最低中位运行时间，而原始PBIL在max-cut问题中5次运行未能找到最优解。
• 使用边距的AH重启策略在两个问题的20次运行中均未达到全局最优，而采用小预算的智能重启策略则实现了接近最优的性能。
• HL重启策略（检查所有频率是否已达到边界）表现相对良好，表明采用小预算的智能重启策略虽保守但有效。