[论文解读] Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding

Mohammad Javad Shafiee, Alexander Wong|arXiv (Cornell University)|Sep 6, 2016

Advanced Memory and Neural Computing参考文献 33被引用 18

一句话总结

本文提出了一种突触簇驱动的遗传编码方案，用于深度神经网络的进化合成，通过借鉴神经生物学的聚类机制生成高度高效的网络架构。该方法在MNIST数据集上实现了高达125倍的突触数量减少，同时保持了高精度，在资源受限设备上实现了面向GPU加速推理的显著效率提升。

ABSTRACT

There has been significant recent interest towards achieving highly efficient deep neural network architectures. A promising paradigm for achieving this is the concept of evolutionary deep intelligence, which attempts to mimic biological evolution processes to synthesize highly-efficient deep neural networks over successive generations. An important aspect of evolutionary deep intelligence is the genetic encoding scheme used to mimic heredity, which can have a significant impact on the quality of offspring deep neural networks. Motivated by the neurobiological phenomenon of synaptic clustering, we introduce a new genetic encoding scheme where synaptic probability is driven towards the formation of a highly sparse set of synaptic clusters. Experimental results for the task of image classification demonstrated that the synthesized offspring networks using this synaptic cluster-driven genetic encoding scheme can achieve state-of-the-art performance while having network architectures that are not only significantly more efficient (with a ~125-fold decrease in synapses for MNIST) compared to the original ancestor network, but also tailored for GPU-accelerated machine learning applications.

研究动机与目标

• 开发一种新型遗传编码方案，模拟生物突触聚类，以改进深度神经网络的进化合成。
• 在保持或提升模型精度的同时，降低模型复杂度和突触数量。
• 针对内存和计算资源有限的嵌入式GPU，优化进化网络的高效部署。
• 研究遗传编码中的突触聚类如何提升架构效率与泛化能力。

提出的方法

• 该方法将突触概率分解为多因素模型：形成突触簇的概率以及在该簇内形成突触的概率。
• 遗传信息以条件概率 P(S_g | W_{g-1}) 的形式进行概率编码，其中来自祖先网络的突触强度 w_k 指导突触形成的概率。
• 通过簇级概率与突触级概率的乘积促进突触簇的形成，从而在多代中鼓励稀疏但密集的簇结构。
• 进化过程基于祖先网络的‘DNA’序列进行随机网络生成，随后对后代网络进行训练与选择。
• 架构效率定义为祖先网络参数量与进化后网络参数量的比值。
• 簇效率定义为原始网络层中卷积核数量与进化后网络层中卷积核数量的比值，反映在并行硬件上可能实现的加速潜力。

实验结果

研究问题

• RQ1 在遗传编码中引入突触聚类是否能显著减少深度神经网络中的突触数量，同时保持高测试精度？
• RQ2 与传统剪枝和压缩方法相比，所提出的簇驱动遗传编码方案在架构效率方面表现如何？
• RQ3 进化后的网络在小样本数据集上是否表现出优于原始祖先网络的泛化能力？
• RQ4 由于稀疏的突触簇结构，进化后的网络是否能在嵌入式GPU上实现显著的加速？
• RQ5 该遗传编码方案是否能在多个数据集和网络架构上促进形成高度高效、稀疏的突触簇？

主要发现

• 在MNIST数据集上，第13代网络相比原始祖先网络实现了125.09倍的突触数量减少，测试精度仅下降1.7%。
• 在STL-10数据集上，第10代网络比祖先网络高效56.27倍，精度仅下降1.2%，且在小样本数据集上泛化能力得到提升。
• 在CIFAR10数据集上使用AlexNet时，第6代网络效率提升了14.39倍，精度下降2%，表明该方法在多种架构上均具适用性。
• 在MNIST上簇效率达到9.71×，在STL-10上达到5.96×，在CIFAR10上达到2.82×，表明在嵌入式GPU上具有显著的加速潜力。
• 进化后的网络表现出更好的泛化能力，STL-10上的后代网络在早期世代的测试精度甚至高于原始祖先网络。
• 突触簇驱动的编码方法成功促进了稀疏且聚类化的连接模式，与GPU上的高效并行计算高度契合。