[论文解读] Generative NeuroEvolution for Deep Learning

Phillip Verbancsics, Josh Harguess|arXiv (Cornell University)|Dec 18, 2013

Evolutionary Algorithms and Applications参考文献 35被引用 38

一句话总结

本文研究了 HyperNEAT，一种通过组合模式生成网络（CPPNs）间接地利用几何编码演化深层神经网络架构的神经进化方法。尽管 HyperNEAT 单独在图像分类任务中表现不佳，但当与反向传播结合时，其作为特征提取器表现出色，在与卷积神经网络（CNN）配合时，MNIST 测试准确率达到 92.1%，展现出其在受生物发育启发的混合学习系统中的潜力。

ABSTRACT

An important goal for the machine learning (ML) community is to create approaches that can learn solutions with human-level capability. One domain where humans have held a significant advantage is visual processing. A significant approach to addressing this gap has been machine learning approaches that are inspired from the natural systems, such as artificial neural networks (ANNs), evolutionary computation (EC), and generative and developmental systems (GDS). Research into deep learning has demonstrated that such architectures can achieve performance competitive with humans on some visual tasks; however, these systems have been primarily trained through supervised and unsupervised learning algorithms. Alternatively, research is showing that evolution may have a significant role in the development of visual systems. Thus this paper investigates the role neuro-evolution (NE) can take in deep learning. In particular, the Hypercube-based NeuroEvolution of Augmenting Topologies is a NE approach that can effectively learn large neural structures by training an indirect encoding that compresses the ANN weight pattern as a function of geometry. The results show that HyperNEAT struggles with performing image classification by itself, but can be effective in training a feature extractor that other ML approaches can learn from. Thus NeuroEvolution combined with other ML methods provides an intriguing area of research that can replicate the processes in nature.

研究动机与目标

• 探索神经进化，特别是 HyperNEAT，是否能有效训练用于视觉任务的深层神经网络。
• 解决传统神经进化在扩展至大型、深层架构方面与生物神经系统的可比性方面的局限性。
• 研究 HyperNEAT 是否可作为下游监督学习的可行特征提取器。
• 评估网络架构选择（尤其是卷积神经网络）对 HyperNEAT 作为特征学习者性能的影响。
• 确定通过 CPPNs 的间接编码是否能生成适用于深度学习的可泛化、高层次表示。

提出的方法

• HyperNEAT 使用组合模式生成网络（CPPN）作为间接编码，基于节点之间的几何关系生成人工神经网络（ANN）的权重模式。
• CPPN 将多维空间中节点的空间坐标映射为连接权重，从而在无需显式枚举的情况下，实现复杂、规则且分层的权重模式的演化。
• 通过遗传算法对 HyperNEAT 的神经进化过程演化 CPPN 的参数，基于 MNIST 数据集上的分类性能进行适应度评估。
• 该方法同时评估 HyperNEAT 作为独立分类器和作为特征提取器的表现，其中演化出的特征被输入到通过反向传播训练的独立网络中。
• 研究比较了不同 ANN 底层结构（包括全连接网络和卷积神经网络（CNN）架构）下的性能，以评估架构影响。
• 适应度函数结合了多种分类指标——真正例、真负例、假正例和假负例，以引导进化搜索朝向鲁棒且可泛化的表示。

实验结果

研究问题

• RQ1 HyperNEAT 是否能有效演化用于图像分类任务的深层神经网络架构？
• RQ2 通过 CPPNs 的间接编码是否能实现可扩展的大规模、复杂 ANN 的演化，其规模可与生物神经系统的规模相媲美？
• RQ3 当与基于反向传播的学习方法结合时，HyperNEAT 是否能作为有效的特征提取器？
• RQ4 神经网络架构的选择（例如全连接网络与卷积网络）如何影响 HyperNEAT 作为特征学习者的表现？
• RQ5 在间接编码的进化搜索中，是否能产生在与监督学习结合使用时对未见数据具有良好泛化能力的表示？

主要发现

• HyperNEAT 单独在 MNIST 分类任务中表现较差，适应度性能仅达到 4.1% 的平台期，测试准确率为 27.7%。
• 当用作反向传播训练网络的特征提取器时，HyperNEAT 的适应度得分为 7.0，MNIST 数据集上的测试准确率达到 92.1%。
• 从全连接网络转向卷积神经网络（CNN）架构，显著提升了 HyperNEAT 作为特征学习者的表现。
• 对 HyperNEAT 生成的特征图进行可视化，揭示了在特征维度上存在明显的几何模式，表明其生成了结构化且有意义的表示。
• CPPNs 的间接编码能够发现规则、分层且模块化的权重模式，从而支持有效的特征学习。
• 混合方法——利用进化进行特征发现，利用反向传播进行微调——与生物学习过程相类似，支持对未见数据的泛化。