[论文解读] Interval Arithmetic and Interval-Aware Operators for Genetic Programming

Grant Dick|arXiv (Cornell University)|Apr 17, 2017

Evolutionary Algorithms and Applications参考文献 5被引用 5

一句话总结

本文提出了一种区间感知的遗传编程算子，利用区间算术在进化过程中防止无效解的产生，显著提升了搜索效率和泛化能力。与以往仅依赖评估的方法不同，新算子在交叉和突变过程中强制执行区间有效性，减少了无效后代的数量，从而加速收敛至高性能模型。

ABSTRACT

Symbolic regression via genetic programming is a flexible approach to machine learning that does not require up-front specification of model structure. However, traditional approaches to symbolic regression require the use of protected operators, which can lead to perverse model characteristics and poor generalisation. In this paper, we revisit interval arithmetic as one possible solution to allow genetic programming to perform regression using unprotected operators. Using standard benchmarks, we show that using interval arithmetic within model evaluation does not prevent invalid solutions from entering the population, meaning that search performance remains compromised. We extend the basic interval arithmetic concept with `safe' search operators that integrate interval information into their process, thereby greatly reducing the number of invalid solutions produced during search. The resulting algorithms are able to more effectively identify good models that generalise well to unseen data. We conclude with an analysis of the sensitivity of interval arithmetic-based operators with respect to the accuracy of the supplied input feature intervals.

研究动机与目标

• 为解决传统遗传编程（GP）在符号回归中因算子缺乏保护而导致进化过程中产生无效结果的局限性。
• 探究区间算术是否不仅可用于评估，还可作为动态机制，在搜索过程中引导安全的算子应用。
• 开发新的搜索算子，确保在整个遗传操作过程中保持区间有效性，从而减少种群中无效个体的数量。
• 评估基于区间算术的GP对输入区间估计精度的敏感性，特别是当区间由数据推导时的情况。
• 探索将区间算术与语义或仿射算术方法结合，以增强模型发现与简化的能力。

提出的方法

• 将区间算术作为一种静态分析技术，用于判断算子应用在所有输入区间范围内是否会产生有效结果。
• 提出新型的区间感知交叉与突变算子，通过在生成后代前检查区间有效性，拒绝或修复无效组合。
• 利用区间算术计算每个子树的输出范围，确保除法或对数等操作不会产生未定义的区间。
• 通过表达式树传播区间，检测并防止在评估前发生无效操作，从而维持种群的有效性。
• 在模型评估与算子生成过程中应用区间算术，将区间约束直接整合到搜索过程中。
• 通过改变从训练数据中推导的输入特征区间的精度，评估区间估计质量的影响。

实验结果

研究问题

• RQ1 区间算术是否不仅能用于评估，还能作为遗传操作过程中的动态约束，有效防止无效解的产生？
• RQ2 与传统受保护算子相比，区间感知算子在搜索效率与泛化性能方面表现如何？
• RQ3 基于区间算术的GP性能在多大程度上对输入区间估计的精度敏感？
• RQ4 当输入区间估计不准确时，基于区间算术的算子是否仍能演化出泛化能力良好的模型？
• RQ5 使用区间感知算子与标准或受保护算子相比，演化出的模型在结构上存在哪些差异？

主要发现

• 仅在评估阶段使用区间算术无法防止无效解进入种群，因为标准交叉与突变频繁产生无效后代。
• 区间感知算子通过在遗传操作过程中强制执行区间有效性，显著减少了无效个体数量，从而实现更快收敛。
• 新型区间感知算子在Pagie-1与Keijzer-10等基准问题上的泛化性能与受保护算子相当。
• 基于区间算术的GP性能对输入区间估计精度高度敏感；若区间与实际数据对齐不佳，将降低泛化能力。
• 尽管存在除零或未定义操作的理论风险，区间感知算子仍成功演化出避免此类问题的代理表达式。
• 区间算术的集成改变了搜索空间的结构，使除法等操作的使用概率降低，表明演化模型结构发生了转变。