[论文解读] Update Strength in EDAs and ACO: How to Avoid Genetic Drift

Dirk Sudholt, Carsten Witt|arXiv (Cornell University)|Jul 14, 2016

Evolutionary Algorithms and Applications参考文献 20被引用 9

一句话总结

本文对估计分布算法（EDAs）和蚁群优化（ACO）中的更新强度进行了严格的运行时间分析，表明过强的更新会导致遗传漂变并降低性能。研究证明，在OneMax问题上，当更新强度设定为$\Theta(1/(\sqrt{n}\log n))$时可实现最优性能，预期运行时间为$O(n\log n)$，从而在学习速度与模型准确性之间取得平衡。

ABSTRACT

We provide a rigorous runtime analysis concerning the update strength, a vital parameter in probabilistic model-building GAs such as the step size $1/K$ in the compact Genetic Algorithm (cGA) and the evaporation factor $ρ$ in ACO. While a large update strength is desirable for exploitation, there is a general trade-off: too strong updates can lead to genetic drift and poor performance. We demonstrate this trade-off for the cGA and a simple MMAS ACO algorithm on the OneMax function. More precisely, we obtain lower bounds on the expected runtime of $Ω(K\sqrt{n} + n \log n)$ and $Ω(\sqrt{n}/ρ+ n \log n)$, respectively, showing that the update strength should be limited to $1/K, ρ= O(1/(\sqrt{n} \log n))$. In fact, choosing $1/K, ρ\sim 1/(\sqrt{n}\log n)$ both algorithms efficiently optimize OneMax in expected time $O(n \log n)$. Our analyses provide new insights into the stochastic behavior of probabilistic model-building GAs and propose new guidelines for setting the update strength in global optimization.

研究动机与目标

• 理解在cGA和ACO等概率模型构建遗传算法中，学习速度与遗传漂变之间的权衡关系。
• 识别出能防止因模型适应错误而导致性能下降的最优更新强度参数。
• 通过为cGA和2-MMAS$_{\textrm{ib}}$提供紧致的运行时间下界，弥合理论理解的空白。
• 为全局优化算法中的更新强度设置提供通用指导原则。
• 开发一种基于二阶势函数的新型分析框架，以建模随机行为和 hitting times。

提出的方法

• 对OneMax函数上的紧凑遗传算法（cGA）和2-MMAS$_{\textrm{ib}}$进行了严格的运行时间分析。
• 使用二阶势函数来近似概率模型底层随机游走中的 hitting times 分布。
• 应用浓度不等式和Chernoff型不等式，以控制模型更新过程中b-steps和rw-steps的数量。
• 通过分析不同更新强度下模型收敛行为的相变，推导出下界。
• 用跟踪位概率随时间演变的概率模型替代标准更新规则。
• 采用基于阶段的分析方法，以限制模型收敛路径中非递减步骤的概率。

实验结果

研究问题

• RQ1 cGA和ACO的最优更新强度是多少，才能在避免遗传漂变的同时保持在OneMax问题上的高效收敛？
• RQ2 cGA中的更新强度$1/K$和ACO中的$\rho$如何影响预期运行时间和模型准确性？
• RQ3 作为更新强度函数的cGA和2-MMAS$_{\textrm{ib}}$的预期运行时间的渐近下界是什么？
• RQ4 运行时间能否分别被下界界定为$\Omega(K\sqrt{n} + n\log n)$和$\Omega(\sqrt{n}/\rho + n\log n)$，这对参数选择意味着什么？
• RQ5 当更新强度超过$1/(\sqrt{n}\log n)$时，遗传漂变是否主导性能表现？如果是，原因是什么？

主要发现

• cGA的预期运行时间为$\Omega(K\sqrt{n} + n\log n)$，表明为避免性能下降，$1/K$必须满足$O(1/(\sqrt{n}\log n))$。
• 对于2-MMAS$_{\textrm{ib}}$，其预期运行时间为$\Omega(\sqrt{n}/\rho + n\log n)$，表明$\rho$必须满足$O(1/(\sqrt{n}\log n))$以防止遗传漂变。
• 当$1/K, \rho \sim 1/(\sqrt{n}\log n)$时，两种算法均实现$O(n\log n)$的预期运行时间，证明了下界紧致性。
• 当更新强度超过$1/(\sqrt{n}\log n)$时，遗传漂变成为主导因素，纠正错误的模型更新需要$\Omega(n\log n)$的时间。
• 下界以高概率成立，证实所观察到的性能是典型情况，而非罕见事件所致。
• 提出的参数配置$1/K, \rho \sim 1/(\sqrt{n}\log n)$在OneMax问题上对两种算法均为最优，且可能可推广至其他具有唯一全局最优解的函数。