[论文解读] DyVEDeep: Dynamic Variable Effort Deep Neural Networks

Sanjay Ganapathy, Swagath Venkataramani+2 more|arXiv (Cornell University)|Apr 4, 2017

Advanced Neural Network Applications参考文献 1被引用 5

一句话总结

DyVEDeep 提出了一种动态、输入感知的方法，通过根据输入难度调整计算量，减少深度神经网络的推理计算。它使用三种计算力度调节装置——基于稀疏性的剪枝、特征级近似和逐层跳过——在 CIFAR-10 和 ImageNet 基准测试中实现 2.1×–2.6× 的标量运算减少和 1.8×–2.3× 的推理加速，且精度损失小于 0.5%。

ABSTRACT

Deep Neural Networks (DNNs) have advanced the state-of-the-art in a variety of machine learning tasks and are deployed in increasing numbers of products and services. However, the computational requirements of training and evaluating large-scale DNNs are growing at a much faster pace than the capabilities of the underlying hardware platforms that they are executed upon. In this work, we propose Dynamic Variable Effort Deep Neural Networks (DyVEDeep) to reduce the computational requirements of DNNs during inference. Previous efforts propose specialized hardware implementations for DNNs, statically prune the network, or compress the weights. Complementary to these approaches, DyVEDeep is a dynamic approach that exploits the heterogeneity in the inputs to DNNs to improve their compute efficiency with comparable classification accuracy. DyVEDeep equips DNNs with dynamic effort mechanisms that, in the course of processing an input, identify how critical a group of computations are to classify the input. DyVEDeep dynamically focuses its compute effort only on the critical computa- tions, while skipping or approximating the rest. We propose 3 effort knobs that operate at different levels of granularity viz. neuron, feature and layer levels. We build DyVEDeep versions for 5 popular image recognition benchmarks - one for CIFAR-10 and four for ImageNet (AlexNet, OverFeat and VGG-16, weight-compressed AlexNet). Across all benchmarks, DyVEDeep achieves 2.1x-2.6x reduction in the number of scalar operations, which translates to 1.8x-2.3x performance improvement over a Caffe-based implementation, with < 0.5% loss in accuracy.

研究动机与目标

• 解决深度神经网络（DNN）推理日益增长的计算负担，尤其是在资源受限设备上的问题。
• 克服静态 DNN 在所有输入上均施加统一计算量的低效性，无论输入难易程度如何。
• 利用输入异质性——即某些输入比其他输入更容易分类——动态仅在需要时分配计算资源。
• 通过自适应计算，在显著减少标量运算和推理时间的同时保持高分类精度。
• 开发一种基于软件的、运行时高效的机制，可无缝集成到 Caffe 等现有 DNN 框架中。

提出的方法

• 引入三种在不同粒度上运行的动态计算力度调节装置：神经元级（SPET）、特征级（SFMA）和层级（SDSS），以减少计算量。
• SPET 识别并跳过激活方差较低的神经元，假设其对分类贡献较小。
• SFMA 对空间方差较低的特征图进行近似，减少在信息量较少的图像区域的计算。
• SDSS 根据输入依赖的早期预测置信度，选择性地跳过整个层，从而减少深层网络的计算量。
• 在推理时通过运行时决策逻辑集成这些调节装置，根据输入特征在计算前进行评估。
• 应用归一化和阈值处理（例如 DelAct_thresh）以平衡近似精度与计算节省。

实验结果

研究问题

• RQ1 基于输入特定难度的动态计算分配是否能在不牺牲精度的前提下提升 DNN 推理效率？
• RQ2 在不同 DNN 架构中，神经元、特征和层三个粒度的计算减少方法在减少标量运算方面的有效性如何？
• RQ3 将动态计算力度机制集成到标准 DNN 推理流水线中的运行时开销有多大？
• RQ4 在不降低分类性能的前提下，能在多大程度上利用输入异质性来跳过或近似 DNN 中的计算？
• RQ5 在不同网络层和数据集上，所提出的计算力度调节装置对整体计算节省的贡献程度如何比较？

主要发现

• DyVEDeep 在包括 CIFAR-10 和 ImageNet 变体（如 AlexNet、VGG-16 等）在内的五个基准测试中，实现了 2.1× 到 2.6× 的标量运算减少。
• 与基于 Caffe 的基线实现相比，运行时性能提升 1.8× 到 2.3×，且精度损失极小（<0.5%）。
• SDSS 调节装置贡献最大（占总运算量的 31%），其次是 SPET（19%）和 SFMA（7%）。
• 在更深的卷积层中观察到更大的效率增益（最高达 2.6× 加速），这得益于更高的激活方差和稀疏性。
• 努力图可视化表明，DyVEDeep 将计算集中在图像中的感兴趣区域，与高激活特征高度相关。
• 动态调节装置的运行时开销仅为基线推理时间的 5%，表明其具有很强的实际可行性。