[论文解读] Gated XNOR Networks: Deep Neural Networks with Ternary Weights and Activations under a Unified Discretization Framework.

Lei Deng, Peng Jiao+3 more|arXiv (Cornell University)|May 25, 2017

Advanced Memory and Neural Computing被引用 17

一句话总结

本文提出了一种统一框架，用于具有三值权重和激活的深度神经网络，通过多步离散化和导数近似实现高效的反向传播，同时通过离散状态转移消除全精度隐藏权重的存储。该方法生成了支持事件驱动硬件设计的门控XNOR网络，在灵活稀疏性和离散状态控制下实现了最先进性能。

ABSTRACT

There is a pressing need to build an architecture that could subsume these networks undera unified framework that achieves both higher performance and less overhead. To this end, two fundamental issues are yet to be addressed. The first one is how to implement the back propagation when neuronal activations are discrete. The second one is how to remove the full-precision hidden weights in the training phase to break the bottlenecks of memory/computation consumption. To address the first issue, we present a multistep neuronal activation discretization method and a derivative approximation technique that enable the implementing the back propagation algorithm on discrete DNNs. While for the second issue, we propose a discrete state transition (DST) methodology to constrain the weights in a discrete space without saving the hidden weights. In this way, we build a unified framework that subsumes the binary or ternary networks as its special cases.More particularly, we find that when both the weights and activations become ternary values, the DNNs can be reduced to gated XNOR networks (or sparse binary networks) since only the event of non-zero weight and non-zero activation enables the control gate to start the XNOR logic operations in the original binary networks. This promises the event-driven hardware design for efficient mobile intelligence. We achieve advanced performance compared with state-of-the-art algorithms. Furthermore,the computational sparsity and the number of states in the discrete space can be flexibly modified to make it suitable for various hardware platforms.

研究动机与目标

• 解决在激活值被量化为离散值的离散神经网络中实现反向传播的挑战。
• 消除训练过程中存储全精度隐藏权重的需求，以减少内存和计算开销。
• 在单一框架下统一二值化与三值化网络，以支持灵活的硬件映射。
• 通过三值网络中的门控XNOR逻辑运算，实现事件驱动的稀疏计算。
• 通过调节计算稀疏性和离散状态数量，设计可适配多种硬件平台的系统。

提出的方法

• 提出多步神经元激活离散化方法，将连续激活映射为离散状态，同时保持梯度流动。
• 引入导数近似技术，以实现通过离散激活函数的反向传播。
• 开发离散状态转移（DST）方法论，使网络权重保持在离散值，而无需在训练期间存储全精度权重。
• 将网络结构设计为仅当非零权重和非零激活时才触发XNOR逻辑运算，从而实现稀疏、事件驱动的推理。
• 将三值权重和激活整合到统一框架中，以泛化二值化与三值化网络。
• 允许灵活调节稀疏性和离散状态空间大小，以适应不同硬件约束。

实验结果

研究问题

• RQ1 如何在具有离散（三值）激活的深度神经网络中有效实现反向传播？
• RQ2 何种机制可消除训练过程中对全精度隐藏权重的依赖，同时不损害学习性能？
• RQ3 能否建立一个统一框架，将二值化与三值化网络统一于单一架构之下？
• RQ4 所提出的方法如何实现面向移动推理的高效事件驱动硬件设计？
• RQ5 计算稀疏性和离散状态空间在多大程度上可调节以实现针对特定硬件的优化？

主要发现

• 所提方法通过多步离散化和导数近似，成功在离散网络中实现反向传播。
• 离散状态转移（DST）技术消除了对存储全精度隐藏权重的需求，显著降低内存和计算开销。
• 当权重和激活均为三值时，网络退化为门控XNOR网络，支持稀疏、事件驱动计算。
• 在评估的基准测试中，该框架实现了优于当前最先进算法的性能。
• 计算稀疏性和离散状态数量可灵活调节，以匹配不同硬件平台的约束条件。
• 统一框架泛化了二值化与三值化网络，展现出在不同网络类型间的兼容性与可扩展性。