[论文解读] Lamarckian Evolution and the Baldwin Effect in Evolutionary Neural Networks

Pedro Á. Castillo, M. G. Arenas+5 more|ArXiv.org|Mar 1, 2006

Neural Networks and Applications参考文献 20被引用 15

一句话总结

本文研究了在神经演化算法中拉马克进化与巴尔德温效应的影响，采用G-Prop这一混合遗传算法，通过快速传播（Quick-Propagation）优化多层感知机（MLPs）。结果表明，拉马克方法在更小、收敛更快的网络中实现了更低的误差率，而巴尔德温效应虽带来稍好的准确率，但需要更多代数和更大的网络结构。

ABSTRACT

Hybrid neuro-evolutionary algorithms may be inspired on Darwinian or Lamarckian evolu- tion. In the case of Darwinian evolution, the Baldwin effect, that is, the progressive incorporation of learned characteristics to the genotypes, can be observed and leveraged to improve the search. The purpose of this paper is to carry out an exper- imental study into how learning can improve G-Prop genetic search. Two ways of combining learning and genetic search are explored: one exploits the Baldwin effect, while the other uses a Lamarckian strategy. Our experiments show that using a Lamarckian op- erator makes the algorithm find networks with a low error rate, and the smallest size, while using the Bald- win effect obtains MLPs with the smallest error rate, and a larger size, taking longer to reach a solution. Both approaches obtain a lower average error than other BP-based algorithms like RPROP, other evolu- tionary methods and fuzzy logic based methods

研究动机与目标

• 评估巴尔德温效应与拉马克机制在改进多层感知机神经演化搜索方面的有效性。
• 比较G-Prop在采用拉马克本地搜索与不修改基因型的巴尔德温学习策略下的性能表现。
• 评估在演化过程中引入学习是否能提升泛化能力、收敛速度及网络规模效率。
• 将两种方法与RPROP、模糊逻辑方法及先前的神经网络设计在分类与函数逼近任务中进行基准对比。

提出的方法

• 采用G-Prop，一种结合遗传算法与快速传播（QP）的混合演化算法，用于演化具有优化权重、拓扑结构和学习参数的MLP。
• 通过在适应度评估后使用局部学习（反向传播）修改基因型，实施拉马克策略，从而将获得的特性传递给后代。
• 通过在适应度评估期间允许表型学习但不改变基因型，应用巴尔德温效应，模拟学习能力作为选择优势。
• 采用精英策略在各代之间保留最优个体，确保所学改进得以保留。
• 在两个基准问题上运行实验：Glass1a（模式分类）与f₂（函数逼近），使用一致的EA参数（200个个体，300代）。
• 可视化演化动态，分析随时间推移的收敛模式与适应度提升情况。

实验结果

研究问题

• RQ1 在G-Prop中利用巴尔德温效应是否能带来比标准反向传播及其他方法更好的泛化能力与更低的误差率？
• RQ2 拉马克演化策略能否在保持或提升准确率的同时，加快收敛速度并减小网络规模？
• RQ3 拉马克与巴尔德温G-Prop变体在神经网络架构与训练时间上存在哪些差异？
• RQ4 学习与演化相结合的方法是否比纯粹的演化或纯粹的学习方法在神经演化中更有效？
• RQ5 表型学习在多大程度上影响了G-Prop中搜索空间的形状与演化轨迹？

主要发现

• 拉马克G-Prop变体在Glass1a问题上实现了32±2的分类误差，优于RPROP（33±5）和Kitano的方法（32±5）。
• 在f₂函数逼近任务中，拉马克方法达到0.09±0.01的误差，显著优于Pomares的模糊方法（0.125）。
• 巴尔德温G-Prop变体在Glass1a上实现了略低的误差（31±2），但需要119±55代，而拉马克方法仅需52±54代。
• 拉马克网络平均规模更小（59±28个神经元），而巴尔德温网络为112±62个，表明拉马克策略具有更好的归纳偏置与更快的推理速度。
• 拉马克策略实现了更快的收敛，最优网络在早期即稳定并持续保持最优状态。
• 在拉马克策略下，表型学习在早期代数中对适应度提升贡献更大，这是由于精英选择机制保留了所学改进。