[论文解读] GXNOR-Net: Training deep neural networks with ternary weights and activations without full-precision memory under a unified discretization framework

Lei Deng, Peng Jiao+3 more|arXiv (Cornell University)|May 25, 2017

Advanced Memory and Neural Computing参考文献 27被引用 6

一句话总结

GXNOR-Net 提出了一种统一的量化框架，用于在训练过程中对深度神经网络进行三值权重和激活的端到端训练，且无需存储全精度权重。通过引入多步激活量化方法并使用导数近似技术，以及一种避免存储全精度权重的离散状态转移（DST）方法，该框架实现了在离散网络上的端到端反向传播，在 MNIST、CIFAR-10 和 SVHN 上取得了当前最优性能，具备硬件友好型稀疏性与事件驱动计算潜力。

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks under a unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multi-step neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. Through this way, we build a unified framework that subsumes the binary or ternary networks as its special cases, and under which a heuristic algorithm is provided at the website https://github.com/AcrossV/Gated-XNOR. More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to sparse binary networks, termed as gated XNOR networks (GXNOR-Nets) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore, the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

研究动机与目标

• 将二值与三值神经网络统一于单一框架下，支持权重与激活的灵活量化。
• 在权重与激活均被限制为离散值的深度网络中实现反向传播，克服离散函数不可导的问题。
• 消除训练过程中存储全精度隐藏权重的需求，降低内存与计算瓶颈。
• 通过将非零权重-激活对视为计算单元的控制信号，实现事件驱动的稀疏计算。
• 通过调整离散状态数量与稀疏度，提供适用于多种硬件平台的可重构框架。

提出的方法

• 多步神经元激活量化函数将连续激活映射到离散取值集合，支持离散优化。
• 引入导数近似技术，以处理反向传播过程中离散激活函数的不可导性。
• 离散状态转移（DST）方法利用概率投影算子，将突触权重约束为离散值，而无需存储全精度权重。
• DST 方法确保权重更新直接在离散空间中进行，避免使用全精度中间表示。
• 该框架支持对权重与激活的离散状态数量进行可重构，实现准确率与硬件效率之间的灵活权衡。
• 由此生成的网络 GXNOR-Net 作为稀疏二值网络运行，仅当权重与激活均非零时才触发计算，支持事件驱动硬件设计。

实验结果

研究问题

• RQ1 当权重与激活均被限制为离散值时，是否能有效实现深度神经网络中的反向传播？
• RQ2 是否可能在不存储全精度中间权重的前提下训练具有离散权重的深度网络？
• RQ3 权重与激活中的离散状态数量如何影响网络性能与硬件效率？
• RQ4 是否可以利用权重与激活的离散特性，实现事件驱动的稀疏计算以实现能效高效的推理？
• RQ5 如何配置离散状态数量，才能在最小硬件开销下实现高准确率？

主要发现

• GXNOR-Net 在 MNIST、CIFAR-10 和 SVHN 上使用三值权重与激活，实现了当前最优性能，优于现有二值与三值网络。
• 最优配置为权重使用 6 个离散状态，激活使用 4 个离散状态，表明稀疏性与表征能力之间存在权衡。
• 使用矩形脉冲形状的导数近似方法在准确率上与三角形脉冲相当，但硬件复杂度更低。
• 该框架实现了稀疏二值网络行为，计算单元仅在权重与激活均非零时被激活，支持事件驱动硬件设计。
• DST 中的概率投影算子成功在不存储全精度权重的前提下维持了权重的离散化，显著降低了训练期间的内存开销。
• 该方法支持对离散状态数量的灵活重构，使其可适配具有不同内存与计算约束的多种硬件平台。