[论文解读] ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation

Moritz B. Milde, Daniel Neil+3 more|arXiv (Cornell University)|Nov 13, 2017

Model Reduction and Neural Networks被引用 8

一句话总结

ADaPTION 是一个基于 Caffe 的工具箱，支持使用定点数算术对卷积神经网络的权重和激活值进行低精度训练与量化。当将 VGG16 量化至 16 位定点数时，其在 ImageNet 上的 Top-1 准确率仅下降 0.8%，达到当前最优水平，同时将稀疏度提升至最高 50%，从而实现高效地在定点硬件加速器（如 NullHop）上进行推理。

ABSTRACT

Deep Neural Networks (DNNs) and Convolutional Neural Networks (CNNs) are useful for many practical tasks in machine learning. Synaptic weights, as well as neuron activation functions within the deep network are typically stored with high-precision formats, e.g. 32 bit floating point. However, since storage capacity is limited and each memory access consumes power, both storage capacity and memory access are two crucial factors in these networks. Here we present a method and present the ADaPTION toolbox to extend the popular deep learning library Caffe to support training of deep CNNs with reduced numerical precision of weights and activations using fixed point notation. ADaPTION includes tools to measure the dynamic range of weights and activations. Using the ADaPTION tools, we quantized several CNNs including VGG16 down to 16-bit weights and activations with only 0.8% drop in Top-1 accuracy. The quantization, especially of the activations, leads to increase of up to 50% of sparsity especially in early and intermediate layers, which we exploit to skip multiplications with zero, thus performing faster and computationally cheaper inference.

研究动机与目标

• 为应对移动和嵌入式设备中对能效和低内存需求日益增长的挑战，通过支持 CNN 的低精度训练来实现。
• 克服现有工具箱不支持定点激活量化的问题，而这是实现稀疏计算与硬件效率的关键。
• 提供一个标准化的基准测试框架，用于评估基于多样化、可自定义网络架构的 CNN 加速器。
• 通过支持精确的位宽控制和动态范围感知量化，实现将量化模型端到端部署在定点硬件加速器（如 NullHop）上。
• 通过提升激活值和权重的稀疏度，尤其是早期和中间层，从而提高硬件效率，实现更快、更低功耗的推理。

提出的方法

• 扩展 Caffe 深度学习框架，新增三种低精度层类型：LPInnerProduct、LPConvolution 和 LPAct，用于在前向和反向传播中应用定点量化。
• 引入三个可配置参数——BD（小数点前位数）、AD（小数点后位数）和 rounding_scheme（舍入策略），以定义定点格式（如 Q1.15）和舍入策略，适用于权重和激活值。
• 实现一种动态的、按层分配的位宽策略，根据权重和激活值的实际动态范围，智能分配整数部分与小数部分的位数。
• 支持对预训练的高精度模型进行微调，也支持用户自定义精度和舍入策略从零开始训练。
• 提供一条完整流水线，可将量化后的模型导出为与 NullHop 兼容的文件格式，用于在定点硬件加速器上部署。
• 开发了一种新型基准网络 Giga1Net，其计算量为 1 GOp/frame，经 36 小时训练后在 ImageNet 上达到 38% 的 Top-1 准确率，用于支持 CNN 加速器的评估。

实验结果

研究问题

• RQ1 对权重和激活值同时进行定点量化，是否能在保持高分类准确率的同时，实现高效的硬件部署？
• RQ2 在整数与小数部分之间按层动态分配位数，对低精度网络中的模型准确率和稀疏度有何影响？
• RQ3 量化激活值在多大程度上能提升稀疏度？这种稀疏性是否可被用于在定点加速器上实现更快、更低功耗的推理？
• RQ4 与现有工具箱（如 Ristretto）相比，ADaPTION 在支持定点激活量化和硬件兼容模型部署方面表现如何？
• RQ5 像 Giga1Net 这样可自定义的新基准网络，能否作为评估新兴 CNN 加速器硬件设计的现实且多样化的测试平台？

主要发现

• ADaPTION 支持将 CNN 的权重和激活值均量化至 16 位定点精度，在应用于 VGG16 时，ImageNet Top-1 准确率仅下降 0.8%，达到接近最先进水平。
• 激活值的量化可使稀疏度最高提升 50%，尤其在早期和中间层，从而在推理过程中高效跳过零值乘法运算。
• ADaPTION 中的动态位宽分配策略能有效平衡精度与动态范围，即使在权重和激活值具有截然不同的动态范围时，也能实现高精度量化。
• ADaPTION 在支持定点激活量化方面优于 Ristretto，而这是在 NullHop 等平台上实现稀疏性与硬件加速的关键。
• 使用 ADaPTION 训练的 Giga1Net 基准网络，在 GTX980 Ti 上训练 36 小时后，ImageNet Top-1 准确率达到 38%，计算成本为 1 GOp/frame。
• 该工具箱与 Caffe 完全兼容，支持对预训练模型进行微调，也支持从零开始训练，可灵活部署于定点硬件加速器上。