[论文解读] Towards the Evolution of Multi-Layered Neural Networks: A Dynamic Structured Grammatical Evolution Approach

Filipe Assunção, Nuno Lourenço+2 more|arXiv (Cornell University)|Jun 26, 2017

Evolutionary Algorithms and Applications参考文献 21被引用 11

一句话总结

本文提出动态结构化语法进化（DSGE），一种新型基因型表示方法，可实现多层人工神经网络（ANN）及多输出神经元的进化，克服了先前基于语法方法的局限性。DSGE通过将神经元连接与前一层大小关联，动态编码网络拓扑结构，从而有效进化出深度且复杂的ANN，其在复杂数据集上的表现优于单层模型。

ABSTRACT

Current grammar-based NeuroEvolution approaches have several shortcomings. On the one hand, they do not allow the generation of Artificial Neural Networks (ANNs composed of more than one hidden-layer. On the other, there is no way to evolve networks with more than one output neuron. To properly evolve ANNs with more than one hidden-layer and multiple output nodes there is the need to know the number of neurons available in previous layers. In this paper we introduce Dynamic Structured Grammatical Evolution (DSGE): a new genotypic representation that overcomes the aforementioned limitations. By enabling the creation of dynamic rules that specify the connection possibilities of each neuron, the methodology enables the evolution of multi-layered ANNs with more than one output neuron. Results in different classification problems show that DSGE evolves effective single and multi-layered ANNs, with a varying number of output neurons.

研究动机与目标

• 解决现有基于语法的神经进化方法无法进化多层ANN或含多个输出神经元网络的局限性。
• 通过在进化过程中引入动态、上下文敏感的语法规则，克服对预定义网络深度和层大小的依赖。
• 开发一种能适应进化中ANN结构复杂性的基因型表示，尤其适用于深度架构。
• 利用结构化、可扩展的语法框架，实现可变深度与宽度的ANN进化，包括多个输出神经元。
• 证明DSGE可进化出准确且可泛化的ANN，其性能可匹配或超越手工设计的网络及先前的进化方法。

提出的方法

• 提出动态结构化语法进化（DSGE），作为结构化语法进化（SGE）的改进，允许基于当前网络结构动态扩展基因型。
• 将SGE中固定大小的基因列表替换为基于前序层神经元数量编码连接可能性的动态规则。
• 引入层特定、上下文感知的生成规则，其依赖于前序层的神经元数量，实现递归与分层的网络构建。
• 通过为每个子树定义递归深度而非全局定义，实现基因型与预设最大深度的解耦。
• 采用基于语法的映射机制，每个非终结符符号关联一个整数列表，表示展开选择，避免基于模运算的冗余。
• 通过扩展语法以支持多个输出节点和如softmax等激活函数，实现多输出神经元，支持多分类任务。

实验结果

研究问题

• RQ1 DSGE能否进化出具有多个隐藏层的多层ANN，从而克服先前基于语法方法仅限单层的局限？
• RQ2 DSGE是否能实现具有多个输出神经元的ANN进化，例如多分类任务所需的网络？
• RQ3 DSGE进化出的ANN在泛化能力和准确性方面，与标准GE或SGE方法相比表现如何？
• RQ4 DSGE在处理深度架构带来的更大搜索空间复杂性时，是否仍能保持收敛性与性能而不下降？
• RQ5 DSGE能否进化出在复杂数据集上泛化能力优于通过反向传播微调的手工设计网络的ANN？

主要发现

• DSGE成功进化出具有多个隐藏层的多层ANN，证明该方法能够有效应对深度网络拓扑的复杂性。
• 在大多数数据集上，DSGE进化出的多隐藏层ANN性能与单隐藏层ANN无显著差异，表明其具备鲁棒性与可扩展性。
• 在输入维度更高的数据集中，深层网络表现出微弱但可感知的性能优势，表明其具备更强的表征能力。
• 在某些情况下，训练指标差异具有统计显著性，但测试指标未观察到类似差异，表明深层网络具有良好的泛化能力。
• 当性能差异显著时，效应量始终较大，表明在复杂高维问题中实现了有意义的性能提升。
• 当允许多层拓扑结构时，进化出的ANN中神经元数量与隐藏层数显著增加，证实DSGE能有效探索更深层次架构。