[论文解读] Analysis of Estimation of Distribution Algorithms and Genetic Algorithms on NK Landscapes

Martin Pelikán|ArXiv.org|Jan 21, 2008

Bayesian Modeling and Causal Inference参考文献 18被引用 6

一句话总结

本文对估计分布算法（EDAs）与遗传算法（GAs）在不同 n 和 k 的 NK 适应度景观上进行了全面的实证比较。通过分支定界法验证全局最优解，结果表明，先进的 EDA（如 hBOA）显著优于 GAs，尤其是在 k 值增大时，凸显了概率建模在应对复杂、NP 完全的景观时的优越性。

ABSTRACT

This study analyzes performance of several genetic and evolutionary algorithms on randomly generated NK fitness landscapes with various values of n and k. A large number of NK problem instances are first generated for each n and k, and the global optimum of each instance is obtained using the branch-and-bound algorithm. Next, the hierarchical Bayesian optimization algorithm (hBOA), the univariate marginal distribution algorithm (UMDA), and the simple genetic algorithm (GA) with uniform and two-point crossover operators are applied to all generated instances. Performance of all algorithms is then analyzed and compared, and the results are discussed.

研究动机与目标

• 为 NK 景观上的进化算法提供严谨且大规模的实证分析，并验证全局最优解。
• 评估先进估计分布算法（EDAs）与传统遗传算法（GAs）在可调节复杂度的适应度景观上的性能差异。
• 研究在问题复杂度（n 和 k）增加时，基于重组的策略与仅使用突变的策略在 NK 景观中的可扩展性与有效性。
• 建立一个包含约 600,000 个 NK 实例的基准数据集，其全局最优解已知，以供未来算法比较使用。
• 评估交叉算子（均匀交叉与两点交叉）以及 GAs 中无交叉操作对收敛性和搜索效率的影响。

提出的方法

• 针对不同组合的 n（问题规模）和 k（邻域大小）生成了大量随机的 NK 景观实例。
• 使用分支定界法计算每个实例的全局最优解，确保正确性并支持性能基准测试。
• 应用三种算法：分层贝叶斯优化算法（hBOA）、单变量分布估计算法（UMDA）以及采用位翻转突变和任选均匀交叉或两点交叉的简单 GA。
• 通过达到全局最优所需的函数评估次数和搜索过程中的位翻转次数来评估性能。
• 在 600,000 个独立问题实例上进行统计分析，以评估可扩展性与算法差异。
• 通过性能比（如带交叉的 GA 与仅突变的 GA）进行可视化，量化相对效率。

实验结果

研究问题

• RQ1 在 k 值不断增加的 NK 景观中，hBOA 和 UMDA 等 EDA 与传统 GAs 相比表现如何？
• RQ2 在 NK 景观中，交叉（均匀交叉与两点交叉）与仅使用突变的策略对 GA 性能的相对贡献是什么？
• RQ3 在 NP 完全的 NK 景观中，随着问题规模（n）和复杂度（k）的增加，算法性能如何变化？
• RQ4 在复杂、多峰的搜索空间中，EDAs 中的概率模型在性能上相对于基于重组的 GAs 有何优势？
• RQ5 当全局最优解未被验证时，性能比较的可靠性如何？本研究的验证方法揭示了以往文献中的哪些问题？

主要发现

• hBOA 在所有测试的 n 和 k 值下均持续优于 UMDA 和 GA，尤其在 k > 1 时表现更优，凸显了建模高阶依赖关系的优势。
• 当 k > 1 时，随着 n 增大，hBOA 与 GAs 之间的性能差距进一步扩大，表明 EDA 在复杂景观中具有更优的可扩展性。
• 采用两点交叉的 GA 显著优于仅使用位翻转突变的 GA，所有 n 和 k 值下性能比均支持交叉策略的优势。
• 仅使用突变的 GA 所需评估次数（或翻转次数）与采用两点交叉的 GA 的比值随 k 增大而上升，表明随着景观复杂度增加，重组的作用愈发关键。
• UMDA 表现居中，优于标准 GAs 但劣于 hBOA，表明单变量模型不足以捕捉高 k 值 NK 景观中的复杂交互关系。
• 本研究通过分支定界法验证全局最优解，揭示了以往研究在未验证最优解时可能错误解读算法性能，尤其在高 k 区域更为明显。