[论文解读] Explaining Adaptation in Genetic Algorithms With Uniform Crossover: The Hyperclimbing Hypothesis

Keki M. Burjorjee|Apr 16, 2012

Evolutionary Algorithms and Applications参考文献 24被引用 4

一句话总结

本文提出了超爬升假说，解释了使用均匀交叉的遗传算法（UGAs）中的适应机制，将其视为一种隐式、高效的超爬升启发式方法——一种通过迭代固定高适应度变量组合来大幅缩减搜索空间的全局搜索策略。主要贡献在于通过严谨的理论和实验验证表明，UGAs 的适应并非通过构建块或连锁学习实现，而是通过隐式探索和利用超平面的统计适应度特性实现的。引入一个简单的‘夹持’改进措施，显著提升了其在 MAX-3SAT 和 Sherrington-Kirkpatrick 自旋玻璃等难题上的性能。

ABSTRACT

The hyperclimbing hypothesis is a hypothetical explanation for adaptation in genetic algorithms with uniform crossover (UGAs). Hyperclimbing is an intuitive, general-purpose, non-local search heuristic applicable to discrete product spaces with rugged or stochastic cost functions. The strength of this heuristic lie in its insusceptibility to local optima when the cost function is deterministic, and its tolerance for noise when the cost function is stochastic. Hyperclimbing works by decimating a search space, i.e. by iteratively fixing the values of small numbers of variables. The hyperclimbing hypothesis holds that UGAs work by implementing efficient hyperclimbing. Proof of concept for this hypothesis comes from the use of a novel analytic technique involving the exploitation of algorithmic symmetry. We have also obtained experimental results that show that a simple tweak inspired by the hyperclimbing hypothesis dramatically improves the performance of a UGA on large, random instances of MAX-3SAT and the Sherrington Kirkpatrick Spin Glasses problem.

研究动机与目标

• 为使用均匀交叉的遗传算法（UGAs）中适应机制缺乏科学严谨的解释提供解决方案，该机制无法用传统的构建块假说来解释。
• 挑战广泛持有的观点，即有效的遗传算法必须依赖强连锁或连锁学习机制。
• 提出并验证一种新的理论框架——超爬升——作为驱动 UGAs 中适应机制的根本原因。
• 证明 UGAs 隐式实现了全局搜索启发式方法，能够高效探索并固定在崎岖、随机的搜索空间中具有高适应度的超平面结构。
• 表明超爬升假说可启发实际的算法改进，例如夹持技术，显著提升在大规模、困难优化问题上的性能。

提出的方法

• 将超爬升启发式形式化为一种全局缩减过程：它采样整个搜索空间，识别具有非零适应度效应的粗粒度模式分区，并将未来采样限制在期望适应度高于平均水平的模式上。
• 利用均匀交叉中的算法对称性以及一类适应度函数，分析证明 UGAs 可在无需显式消息传递或统计推断的情况下高效实现超爬升。
• 采用一种基于对称性的新颖分析技术，证明在超爬升假说下，UGAs 的适应能力随搜索空间大小增加而有利地增长。
• 通过引入‘夹持’修改——将某些变量固定为高适应度值——来模拟超爬升行为，并在大规模实例上测试其性能影响。
• 在随机生成的 MAX-3SAT 和 Sherrington-Kirkpatrick 自旋玻璃实例上进行实验验证，比较基线 UGA 与夹持变体的性能。
• 理论分析将搜索空间视为二进制字符串的乘积空间，将适应度函数映射为实数值，并通过模式分区在不同模式上期望适应度的方差来定义其效应。

实验结果

研究问题

• RQ1 在缺乏强连锁或构建块结构的情况下，使用均匀交叉的遗传算法如何实现适应？
• RQ2 超爬升启发式（定义为一种全局缩减过程）是否能够解释 UGAs 在崎岖、随机适应度景观上的表现？
• RQ3 均匀交叉与适应度函数之间的对称性在 UGAs 隐式实现超爬升中起到什么作用？
• RQ4 在多大程度上可以通过理论分析和实证性能提升来验证超爬升假说？
• RQ5 超爬升假说能否带来实际的算法改进，使其在困难优化问题上的表现优于标准 UGA？

主要发现

• 超爬升假说为 UGAs 中的适应机制提供了科学严谨的解释，且独立于构建块假说或连锁学习机制。
• 通过基于对称性的分析，本文证明 UGAs 可高效实现超爬升，且其适应能力随搜索空间规模增大而有利增长。
• 引入受超爬升假说启发的‘夹持’改进措施，在大规模随机生成的 MAX-3SAT 和 Sherrington-Kirkpatrick 自旋玻璃实例上带来了显著的性能提升。
• 实验结果通过表明夹持 UGA 在大规模、困难问题上优于基线 UGA，验证了该假说，支持 UGAs 隐式执行全局缩减的观点。
• 该研究挑战了传统观点，即遗传算法需要可加性或模块化的适应度结构，表明 UGAs 可在无需此类假设的情况下，利用超平面的统计适应度特性。
• 研究结果表明，进化过程中选择的基本单位可能是小段基因集合，而非单个基因，从而质疑了‘仅可加效应驱动适应’的普遍假设。