[论文解读] Evolving Boolean Functions with Conjunctions and Disjunctions via Genetic Programming

Benjamin Doerr, Andrei Lissovoi+1 more|arXiv (Cornell University)|Mar 28, 2019

Evolutionary Algorithms and Applications参考文献 16被引用 8

一句话总结

本文分析了一种改进的 RLS-GP 算法，该算法使用 AND 和 OR 运算符演化 $n$ 个变量的布尔合取，同时引入了树大小限制和子树删除突变算子。研究证明，该算法在使用完整真值表时，以 $O(\ell n\log^2 n)$ 的期望迭代次数高效演化出精确的目标函数；在使用随机采样输入时，实现了多项式级别的小泛化误差，避免了不必要的 OR 运算符。

ABSTRACT

Recently it has been proved that simple GP systems can efficiently evolve the conjunction of $n$ variables if they are equipped with the minimal required components. In this paper, we make a considerable step forward by analysing the behaviour and performance of the GP system for evolving a Boolean function with unknown components, i.e., the function may consist of both conjunctions and disjunctions. We rigorously prove that if the target function is the conjunction of $n$ variables, then the RLS-GP using the complete truth table to evaluate program quality evolves the exact target function in $O(\\ell n \\log^2 n)$ iterations in expectation, where $\\ell \\geq n$ is a limit on the size of any accepted tree. When, as in realistic applications, only a polynomial sample of possible inputs is used to evaluate solution quality, we show how RLS-GP can evolve a conjunction with any polynomially small generalisation error with probability $1 - O(\\log^2(n)/n)$. To produce our results we introduce a super-multiplicative drift theorem that gives significantly stronger runtime bounds when the expected progress is only slightly super-linear in the distance from the optimum.

研究动机与目标

• 分析 RLS-GP 在使用 AND 和 OR 运算符演化 $n$ 个变量合取时的性能，以更真实地反映实际 GP 系统的行为。
• 通过引入树大小限制和改进的突变算子，解决因解空间中析取式导致的膨胀与局部最优问题。
• 在完整真值表评估与多项式采样输入集两种情况下，建立 RLS-GP 的理论运行时间边界。
• 研究算法在真实场景下是否能避免插入冗余的 OR 运算符，同时实现低泛化误差。
• 通过引入更复杂的函数集合与更真实的适应度评估机制，扩展先前 GP 理论研究的结果。

提出的方法

• RLS-GP 算法采用子树删除突变算子，可在一步内删除整个子树，克服了传统 HVL-Prime 算子在局部最优处卡住的局限性。
• 对语法树施加大小限制 $\ell \geq n$，以防止膨胀并确保期望运行时间有限。
• 适应度评估使用完整真值表（$2^n$ 个输入）或从输入中随机采样的多项式大小子集。
• 分析中引入了超乘法漂移定理，以在向最优解的距离仅略高于线性时获得更紧的运行时间边界。
• 对不同 $n$ 和 $\ell$ 值进行实验评估，报告平均运行时间、解的大小以及最终解中 OR 节点的数量。
• 采用动态子集选择方法，以模拟计算成本为多项式的实际适应度评估。

实验结果

研究问题

• RQ1 当 RLS-GP 获得 AND 和 OR 运算符而非仅 AND 时，能否高效演化出 $n$ 个变量的合取？
• RQ2 引入子树删除突变算子是否能消除因析取式导致的局部最优所引发的无限期望运行时间问题？
• RQ3 当适应度使用完整真值表与使用随机采样输入子集时，RLS-GP 的期望运行时间分别是多少？
• RQ4 当仅使用多项式数量的采样输入时，RLS-GP 是否能以高概率实现多项式级别的小泛化误差？
• RQ5 在函数集合中同时包含 AND 和 OR 的情况下，该算法在多大程度上避免了插入不必要的 OR 运算符？

主要发现

• 当使用完整真值表时，RLS-GP 算法结合子树删除与树大小限制 $\ell = (1+c)n$，可在 $O(\ell n\log^2 n)$ 的期望迭代次数内演化出 $n$ 个变量的精确合取。
• 当适应度使用多项式大小的随机采样输入集时，RLS-GP 能以概率 $1 - O(\log^2 n / n)$ 实现任意多项式级别的小泛化误差。
• 实验结果证实，该算法避免了在解中插入大量 OR 运算符，最终树中仅存少量 OR 节点。
• 实验结果表明，增大树大小限制 $\ell$ 可减少运行时间，暗示理论边界可能较为保守。
• 具有较大 $\ell$ 值的解通常包含更多冗余变量，表明优化速度与解复杂性之间存在权衡。
• 超乘法漂移定理使得在期望进展仅略高于最优距离的线性时，能够获得更紧的运行时间边界。