[论文解读] A Novel Continuous Representation of Genetic Programmings using Recurrent Neural Networks for Symbolic Regression

Aftab Anjum, Fengyang Sun+2 more|arXiv (Cornell University)|Apr 6, 2019

Evolutionary Algorithms and Applications参考文献 29被引用 5

一句话总结

本文提出神经编码表达编程，一种新颖的连续表示方法，用于使用循环神经网络（RNN）在符号回归中进行遗传编程，通过连续进化算法优化RNN权重，使适应度景观更加平滑，从而在符号回归基准测试中实现更高的测试准确率和效率，相比离散线性表示方法表现更优。

ABSTRACT

Neuro-encoded expression programming that aims to offer a novel continuous representation of combinatorial encoding for genetic programming methods is proposed in this paper. Genetic programming with linear representation uses nature-inspired operators to tune expressions and finally search out the best explicit function to simulate data. The encoding mechanism is essential for genetic programmings to find a desirable solution efficiently. However, the linear representation methods manipulate the expression tree in discrete solution space, where a small change of the input can cause a large change of the output. The unsmooth landscapes destroy the local information and make difficulty in searching. The neuro-encoded expression programming constructs the gene string with recurrent neural network (RNN) and the weights of the network are optimized by powerful continuous evolutionary algorithms. The neural network mappings smoothen the sharp fitness landscape and provide rich neighborhood information to find the best expression. The experiments indicate that the novel approach improves test accuracy and efficiency on several well-known symbolic regression problems.

研究动机与目标

• 解决遗传编程中离散线性表示带来的适应度景观不平滑和局部可搜索性差的问题。
• 开发一种保留邻域信息并支持梯度式优化的遗传程序连续表示方法。
• 通过RNN对基因字符串进行编码，实现平滑、可微映射，从而提升符号回归性能。
• 通过RNN权重的连续进化优化，提升符号回归任务中的搜索效率与测试准确率。
• 展示所提出的神经编码方法相较于传统离散遗传编程方法的优越性。

提出的方法

• 该方法使用循环神经网络（RNN）生成基因字符串，替代遗传编程中传统的离散线性编码方式。
• 通过连续进化算法训练RNN以优化其权重，实现在解空间中的平滑过渡。
• RNN以连续、可微的方式将输入参数映射为基因字符串，减小输入微小变化引起的输出突变。
• 由于RNN输出的连续性，适应度景观变得更加平滑，从而保留局部信息，提升搜索效率。
• 进化后的RNN生成表达式树并用于符号回归评估，性能在标准基准问题上进行衡量。
• 该方法结合了遗传编程的进化搜索能力与RNN及进化算法的连续优化优势。

实验结果

研究问题

• RQ1 通过RNN实现的连续表示能否提升遗传编程在符号回归中适应度景观的平滑度？
• RQ2 基于RNN的基因编码是否能提升符号回归任务中的搜索效率与收敛速度？
• RQ3 所提出的神经编码表达编程在标准符号回归问题上的性能与传统离散线性遗传编程相比如何？
• RQ4 连续表示在多大程度上保留了邻域信息并支持局部优化？
• RQ5 对RNN权重进行连续进化优化能否提升符号回归中的泛化能力与测试准确率？

主要发现

• 所提出的神经编码表达编程在多个知名符号回归问题上相比传统离散线性表示方法实现了更高的测试准确率。
• 由于RNN基于连续编码带来的更平滑适应度景观，该方法在搜索效率方面表现更优。
• RNN生成的基因字符串具有连续性，减少了解空间中的突变性变化，从而保留了局部信息。
• 将连续进化算法与RNN结合，实现了对解空间更有效的探索。
• 实验结果证实，基于RNN的表示在符号回归基准测试中表现更优，显示出其在复杂函数发现中的潜力。
• 该方法通过提供更具可导航性与信息量的搜索空间，成功缓解了离散表示的局限性。