[论文解读] Efficiency Enhancement of Probabilistic Model Building Genetic Algorithms

Kumara Sastry, David E. Goldberg+1 more|ArXiv.org|May 18, 2004

Metaheuristic Optimization Algorithms Research参考文献 18被引用 11

一句话总结

本文提出了两种用于概率模型构建遗传算法（PMBGAs）的效率增强技术：（1）一种可扩展的突变算子，通过概率模型识别的构建块邻域执行局部搜索，使可加分离问题的函数评估次数减少 O(√(k log m))；（2）一种内部概率性适应度模型，用于估计后代适应度，将实际评估次数减少至1–10%，并实现2–50倍的速度提升。两种方法在保持解质量的同时显著加速了收敛过程。

ABSTRACT

This paper presents two different efficiency-enhancement techniques for probabilistic model building genetic algorithms. The first technique proposes the use of a mutation operator which performs local search in the sub-solution neighborhood identified through the probabilistic model. The second technique proposes building and using an internal probabilistic model of the fitness along with the probabilistic model of variable interactions. The fitness values of some offspring are estimated using the probabilistic model, thereby avoiding computationally expensive function evaluations. The scalability of the aforementioned techniques are analyzed using facetwise models for convergence time and population sizing. The speed-up obtained by each of the methods is predicted and verified with empirical results. The results show that for additively separable problems the competent mutation operator requires O(k 0.5 logm)--where k is the building-block size, and m is the number of building blocks--less function evaluations than its selectorecombinative counterpart. The results also show that the use of an internal probabilistic fitness model reduces the required number of function evaluations to as low as 1-10% and yields a speed-up of 2--50.

研究动机与目标

• 为解决大规模概率模型构建遗传算法（PMBGAs）中适应度评估的计算成本问题，特别是当评估代价高昂时。
• 通过减少昂贵的适应度函数评估次数，在不牺牲解质量的前提下提升有能力遗传算法的效率。
• 开发可扩展的、基于理论的效率增强技术，以提升PMBGAs的收敛速度和实际适用性。
• 分析并验证两种不同效率增强方法——BB级突变与基于适应度模型的评估松弛——的可扩展性与加速效果。

提出的方法

• 提出一种突变算子，可在由变量相互作用概率模型定义的子解邻域内执行局部搜索，实现对构建块（BB）邻域的针对性探索。
• 使用逐面模型分析该突变算子的可扩展性，基于构建块大小（k）和构建块数量（m）推导收敛时间与种群规模的预测。
• 引入一种基于历史适应度数据训练的内部概率性适应度模型，用于估计后代适应度，从而替代部分个体的昂贵函数评估。
• 采用最小描述长度（MDL）度量来平衡模型复杂度与数据拟合度，确保模型表示的准确性和高效性。
• 将该适应度模型应用于1–10%的种群个体，显著减少了所需的实际评估次数。
• 结合两种技术以实现乘法式加速，因两种增强方式几乎相互独立。

实验结果

研究问题

• RQ1 如何设计一种突变算子，使其能在概率模型识别的构建块邻域内执行可扩展的局部搜索，其理论收敛行为如何？
• RQ2 与传统选择重组PMBGAs相比，所提出的突变算子在可加分离问题上的理论与实际加速效果如何？
• RQ3 内部概率性适应度模型在PMBGAs中能将实际适应度函数评估次数减少到何种程度，其带来的加速效果如何？
• RQ4 基于适应度模型的评估松弛性能在多大程度上依赖于实际评估个体占总种群的比例？
• RQ5 两种效率技术——BB级突变与适应度模型估计——能否有效结合，其预期联合加速效果如何？

主要发现

• BB级突变算子在可加分离问题上相比选择重组PMBGAs将所需函数评估次数减少 O(√(k log m))，其中 k 为构建块大小，m 为构建块数量。
• 该突变算子的收敛时间呈 O(2km1.5) 的增长趋势，表明在具有多个非重叠构建块的问题中具备更优的可扩展性。
• 内部概率性适应度模型可将实际适应度评估次数减少至种群总数的1–10%，与标准PMBGAs相比实现2–50倍的速度提升。
• 基于适应度模型的评估松弛在可加分离问题上效果最佳，此时适应度为独立子解贡献的总和。
• 两种效率技术——BB级突变与适应度模型估计——几乎相互独立，因此联合使用可实现乘法式加速，显著提升整体算法效率。
• 实验结果验证了理论预测，证实了两种所提方法在各类测试问题上的可扩展性与性能增益。