[论文解读] Analysis of the Effective Degrees of Freedom in Genetic Algorithms

Christopher R. Stephens, Henri Waelbroeck|ArXiv.org|Nov 13, 1996

Evolutionary Algorithms and Applications参考文献 6被引用 17

一句话总结

本文推导了在选择、突变和交叉作用下遗传算法（GAs）的演化方程，引入了对模式的粗粒度分析，通过每代平均模式内适应度增长量 $\Delta_l$ 来评估适应度增长。研究发现，在 $k=0$ 景观中，模式重建略高于破坏，有利于极端长度的模式（$l \ll N/2$ 或 $l \gg N/2$）；而在 $k>0$ 景观中，有效自由度并非模式本身，而是合作位点之间的连通树结构，其相关性随连通距离衰减，而非染色体距离。

ABSTRACT

An evolution equation for a population of strings evolving under the genetic operators: selection, mutation and crossover is derived. The corresponding equation describing the evolution of schematas is found by performing an exact coarse graining of this equation. In particular exact expressions for schemata reconstruction are derived which allows for a critical appraisal of the ``building-block hypothesis'' of genetic algorithms. A further coarse-graining is made by considering the contribution of all length-l schematas to the evolution of population observables such as fitness growth. As a test function for investigating the emergence of structure in the evolution the increase per generation of the in-schemata fitness averaged over all schematas of length l, $Δ_l$, is introduced. In finding solutions of the evolution equations we concentrate more on the effects of crossover, in particular we consider crossover in the context of Kauffman Nk models with k=0,2. For k=0, with a random initial population, in the first step of evolution the contribution from schemata reconstruction is equal to that of schemata destruction leading to a scale invariant situation where the contribution to fitness of schematas of size l is independent of l. This balance is broken in the next step of evolution leading to a situation where schematas that are either much larger or much smaller than half the string size dominate over those with $l \approx N/2$. The balance between block destruction and reconstruction is also broken in a k>0 landscape. It is conjectured that the effective degrees of freedom for such landscapes are landscape connective trees that break down into effectively fit smaller blocks, and not the blocks themselves. Numerical simulations confirm this ``connective tree hypothesis'' by showing that correlations drop off with connective distance and not with intrachromosomal distance.

研究动机与目标

• 通过分析选择、突变和交叉作用下模式的动力学，识别遗传算法中的有效自由度。
• 通过推导模式重建与破坏的精确表达式，评估构建模块假说的有效性。
• 研究在 $Nk$ 适应度景观中，交叉对不同模式长度 $l$ 的适应度增长的影响，分别针对 $k=0$ 和 $k=2$ 的情况。
• 确定在复杂适应度景观中，决定有效构建模块出现的是染色体邻近性还是连通结构。
• 检验假设：在 $k>0$ 景观中，有效自由度并非模式，而是合作位点构成的连通树。

提出的方法

• 推导了在遗传算子（选择、突变、交叉）作用下字符串种群的精确演化方程。
• 进行精确的粗粒度处理，推导出模式层面的演化方程，实现对模式重建与破坏的精确追踪。
• 引入 $\Delta_l$，即每代平均模式内适应度的增长量，作为探测结构演化的测试函数。
• 将该模型应用于 $k=0$（无相关位）和 $k=2$（相关位）的 $Nk$ 景观，以分析交叉的影响。
• 使用数值仿真通过测量相关性随连通距离与染色体距离的衰减，验证“连通树假说”。
• 分析有限尺寸效应和选择阈值，以确定哪些模式最可能持续存在并促进适应度增长。

实验结果

研究问题

• RQ1 交叉如何影响遗传算法中模式破坏与重建之间的平衡？
• RQ2 在 $Nk$ 适应度景观中，特别是当 $k>0$ 时，什么决定了有效自由度？
• RQ3 模式长度 $l$ 还是其连通结构（以合作位点相互作用为依据）在适应度提升中占主导地位？
• RQ4 构建模块假说在 $k=0$ 和 $k=2$ 景观中在多大程度上成立，其定量限制是什么？
• RQ5 选择阈值和有限种群大小在多大程度上影响特定长度和指定位数的模式的主导性？

主要发现

• 在 $k=0$ 景观中，所有 $l$ 的模式重建均略高于破坏，导致在第一代中出现尺度不变区域，适应度贡献与 $l$ 无关。
• 第一代之后，模式破坏与重建之间的平衡被打破，倾向于长度远短于或远长于 $N/2$ 的模式。
• 在 $k>0$ 景观中，有效自由度并非模式本身，而是合作位点构成的连通树结构，因为相关性随连通距离衰减，而非染色体距离。
• 数值仿真通过显示适应度相关性随连通距离衰减而非沿字符串的物理距离衰减，证实了“连通树假说”。
• 有限尺寸效应和选择阈值仅在 $l > N/2$ 时偏好高度适应的模式（$N_2$ 为指定位数较大者），使此类模式在适应度增长中占据主导地位。
• 与传统遗传算法设计直觉相反，将合作位点靠近放置是低效的；最有效的配置是将这些位点尽可能分离，而随机编码默认即为此种结构。