[论文解读] Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks

Mohammad Javad Shafiee, Elnaz Barshan+1 more|arXiv (Cornell University)|Apr 7, 2017

Neural Networks and Applications参考文献 32被引用 12

一句话总结

本文提出了一种基于突触簇的遗传编码方案，用于进化深度神经网络架构搜索，可生成高度稀疏、基于簇的网络结构，从而在GPU和AI加速器等并行硬件上实现优化。该方法在多个基准测试中保持或提升准确率的同时，将突触数量减少最多125倍，并将簇效率提升9.7倍。

ABSTRACT

A promising paradigm for achieving highly efficient deep neural networks is the idea of evolutionary deep intelligence, which mimics biological evolution processes to progressively synthesize more efficient networks. A crucial design factor in evolutionary deep intelligence is the genetic encoding scheme used to simulate heredity and determine the architectures of offspring networks. In this study, we take a deeper look at the notion of synaptic cluster-driven evolution of deep neural networks which guides the evolution process towards the formation of a highly sparse set of synaptic clusters in offspring networks. Utilizing a synaptic cluster-driven genetic encoding, the probabilistic encoding of synaptic traits considers not only individual synaptic properties but also inter-synaptic relationships within a deep neural network. This process results in highly sparse offspring networks which are particularly tailored for parallel computational devices such as GPUs and deep neural network accelerator chips. Comprehensive experimental results using four well-known deep neural network architectures (LeNet-5, AlexNet, ResNet-56, and DetectNet) on two different tasks (object categorization and object detection) demonstrate the efficiency of the proposed method. Cluster-driven genetic encoding scheme synthesizes networks that can achieve state-of-the-art performance with significantly smaller number of synapses than that of the original ancestor network. ($\sim$125-fold decrease in synapses for MNIST). Furthermore, the improved cluster efficiency in the generated offspring networks ($\sim$9.71-fold decrease in clusters for MNIST and a $\sim$8.16-fold decrease in clusters for KITTI) is particularly useful for accelerated performance on parallel computing hardware architectures such as those in GPUs and deep neural network accelerator chips.

研究动机与目标

• 解决大型复杂深度神经网络在移动设备和嵌入式系统等资源受限环境中的低效问题。
• 通过在遗传编码过程中引入神经生物学启发的突触簇化，提升进化深度学习的效率。
• 开发一种能够捕捉突触间关系而非仅单个突触特性的遗传编码方案，以指导稀疏且硬件优化的网络进化。
• 评估基于簇的演化是否能显著减少参数数量，并在GPU和AI加速器等并行架构上提升计算效率。

提出的方法

• 提出一种多因素遗传编码方案，不孤立地建模突触特性，而是基于其突触间关系和簇化倾向进行建模。
• 采用概率编码机制，在网络演化过程中偏好形成稀疏且密集的突触簇，灵感来源于簇状突触共激活的神经生物学证据。
• 在概率图模型中应用进化机制（突变、选择与遗传），从祖先网络架构迭代生成后代网络。
• 将簇效率定义为原始网络中卷积核数量与演化后网络中卷积核数量的比值，作为并行硬件上潜在加速效果的度量指标。
• 采用标准深度学习基准（MNIST、CIFAR-10、STL-10、KITTI）及LeNet-5、AlexNet、ResNet-56和DetectNet评估性能与效率。
• 通过进化优化维持模型准确率，同时大幅减少突触数量并提高簇的稀疏性。

实验结果

研究问题

• RQ1 一种建模突触簇化的遗传编码方案，是否能比基于单个突触的编码方案产生更高效的深度神经网络？
• RQ2 突触簇驱动的演化在多大程度上能减少突触数量，同时保持或提升模型准确率？
• RQ3 所获得的簇效率在多大程度上能转化为在GPU和AI加速器等并行计算硬件上的潜在加速效果？
• RQ4 由突触簇化引导的进化过程是否能生成更紧凑、更稀疏且更适配硬件的网络架构？

主要发现

• 在MNIST数据集上使用LeNet-5时，所提方法实现了突触数量125倍的减少，同时保持了高准确率。
• 在MNIST数据集上，最终演化网络的簇效率提高了9.71倍，表明其在并行硬件上具有显著的加速潜力。
• 在KITTI数据集上使用DetectNet时，演化网络实现了8.16倍的簇效率，精度提升0.8%，召回率提升1.7%。
• 在CIFAR-10数据集上使用ResNet-56时，演化网络实现了2.25倍的簇效率，准确率仅下降3.21%，展现出优异的效率-准确率权衡。
• 该方法在所有任务（图像分类与目标检测）中均保持或提升了性能，同时大幅降低了模型复杂度。
• 结果证实，突触簇驱动的演化能够合成高度稀疏且硬件优化的网络，特别适用于在GPU和深度学习加速芯片上部署。