[论文解读] Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks

Mohammad Javad Shafiee, Francis Li+1 more|arXiv (Cornell University)|Jul 1, 2017

Evolutionary Algorithms and Applications参考文献 7被引用 3

一句话总结

本文提出了一种深度神经网络的进化合成框架，通过在各代之间强制实施16位突触精度约束，利用一种受遗传启发的随机概率模型，进化出更稀疏、更快速的网络。该方法在Parse-27k数据集上实现了突触数量减少十倍，并将推理速度提升至37 fps（从7 fps提升），性能提升超过30 fps，同时保持了稳定的精度和召回率。

ABSTRACT

A key contributing factor to incredible success of deep neural networks has been the significant rise on massively parallel computing devices allowing researchers to greatly increase the size and depth of deep neural networks, leading to significant improvements in modeling accuracy. Although deeper, larger, or complex deep neural networks have shown considerable promise, the computational complexity of such networks is a major barrier to utilization in resource-starved scenarios. We explore the synaptogenesis of deep neural networks in the formation of efficient deep neural network architectures within an evolutionary deep intelligence framework, where a probabilistic generative modeling strategy is introduced to stochastically synthesize increasingly efficient yet effective offspring deep neural networks over generations, mimicking evolutionary processes such as heredity, random mutation, and natural selection in a probabilistic manner. In this study, we primarily explore the imposition of synaptic precision restrictions and its impact on the evolutionary synthesis of deep neural networks to synthesize more efficient network architectures tailored for resource-starved scenarios. Experimental results show significant improvements in synaptic efficiency (~10X decrease for GoogLeNet-based DetectNet) and inference speed (>5X increase for GoogLeNet-based DetectNet) while preserving modeling accuracy.

研究动机与目标

• 研究施加突触精度限制对深度神经网络进化合成的影响。
• 解决在资源受限环境中降低深度学习计算与内存成本的挑战。
• 探索是否可利用突触精度约束来进化出更高效、低精度的DNN，而不会牺牲性能。
• 将突触精度约束整合进一种受生物突触发生启发的随机生成式进化框架中。
• 评估在精度约束下，模型效率（突触数量、推理速度）与建模精度（精度、召回率）之间的权衡。

提出的方法

• 进化合成使用突触概率模型 $ P(S_g|W_{g-1}) $ 作为遗传编码，代表网络在代际之间的‘DNA’。
• 后代网络通过 $ P(S_g) riangleq P(S_g|W_{g-1}) imes F(ar{ heta}) $ 随机生成，其中 $ F(ar{ heta}) $ 表示影响网络架构的环境因素。
• 采用概率生成建模策略，替代传统的神经进化方法（如遗传算法或进化编程）。
• 在32位精度下训练后，将突触权重约束为16位（半精度），以强制执行低精度运算，进而影响后续世代。
• 该过程在13代中迭代进化，使用Caffe和TensorRT在Parse-27k数据集上监控推理速度、突触数量和精度。
• 通过调节环境条件以促进稀疏性与效率，引导随机突触生成过程向紧凑、高速的架构发展。

实验结果

研究问题

• RQ1 施加16位突触精度约束后，对深度神经网络的进化合成在模型效率与性能方面有何影响？
• RQ2 能否有效将突触精度降低整合进概率进化框架中，以生成紧凑且高速的DNN？
• RQ3 在进化过程中将突触精度限制为半精度（16位）时，建模精度的保持程度如何？
• RQ4 在精度约束下，突触数量与推理速度在各代之间如何演变？
• RQ5 进化合成过程能否生成在资源受限推理场景中兼具计算效率与准确性的DNN？

主要发现

• 第13代进化网络在Jetson TX1上的推理速度达到37 fps，相比第一代的7 fps提升了430%。
• 经过13代进化，突触数量减少了十倍，表明架构显著稀疏化。
• 精度保持稳定，从第一代到第13代略有提升，约2%。
• 召回率在各代间小幅下降约2%，表明检测灵敏度的退化极小。
• 突触精度限制与进化合成的结合在大幅降低计算与内存需求的同时，维持了高水平的建模性能。
• 将16位精度约束整合进进化过程，有效引导出适用于边缘部署的高效、低精度DNN。