[论文解读] A Survey on Methods and Theories of Quantized Neural Networks

Yunhui Guo|arXiv (Cornell University)|Aug 13, 2018

Advanced Neural Network Applications参考文献 77被引用 204

一句话总结

本综述对量化神经网络进行全面评估，涵盖量化技术（确定性、随机性、概率性）、权重、激活和梯度的量化方法、优化框架，以及训练与部署中的实际挑战。

ABSTRACT

Deep neural networks are the state-of-the-art methods for many real-world tasks, such as computer vision, natural language processing and speech recognition. For all its popularity, deep neural networks are also criticized for consuming a lot of memory and draining battery life of devices during training and inference. This makes it hard to deploy these models on mobile or embedded devices which have tight resource constraints. Quantization is recognized as one of the most effective approaches to satisfy the extreme memory requirements that deep neural network models demand. Instead of adopting 32-bit floating point format to represent weights, quantized representations store weights using more compact formats such as integers or even binary numbers. Despite a possible degradation in predictive performance, quantization provides a potential solution to greatly reduce the model size and the energy consumption. In this survey, we give a thorough review of different aspects of quantized neural networks. Current challenges and trends of quantized neural networks are also discussed.

研究动机与目标

• 评估将神经网络量化以降低内存和能耗的动机与影响。
• 对量化技术（确定性、随机性、概率性）及其在权重、激活和梯度中的应用进行分类与比较。
• 讨论使量化生效的优化公式与训练策略。
• 总结对不同网络组件进行量化的实用方法和硬件考虑。

提出的方法

• 将量化技术分为确定性、随机性和概率性三类。
• 解释权重、激活和梯度的量化及各自的挑战。
• 给出优化公式（例如 J(B,α)=||W−αB||^2，基于 ADMM 的方法，带损失感知的二值化）。
• 描述码本（固定与自适应）以及常见的量化方案（二值、三值、以 2 的幂为底的量化）。
• 讨论训练策略（STE、近端 Newton、ADMM、变分推断）及其收敛性考量。
• 提供与硬件相关的方法比较，涉及精度、效率与部署。

实验结果

研究问题

• RQ1 神经网络中使用的主要量化范式有哪些？在实际中有何差异？
• RQ2 如何在保持性能的前提下对权重、激活和梯度进行量化？
• RQ3 哪些优化框架能够从头训练量化网络或通过训练后量化来实现？
• RQ4 在硬件上训练和部署量化模型所面临的实际挑战有哪些？

主要发现

• 二值网络在 MNIST 上可以实现很高的准确度（示例：binary weights/activations 下的 MNIST 识别率为 98.8%）。
• 在像 ImageNet 这样的大规模数据集上，某些情况下三值网络可达到接近全精度网络的性能。
• 若干优化公式（如 XNOR-net、损失感知二值化、基于 ADMM 的方法）使得量化在保持精度的同时更为有效。
• 向量量化和乘积量化提供了更强的压缩，但通常用于预训练模型而非从头训练的情景。
• 概率量化和贝叶斯视角产生稀疏模型和可解释的权重分布，尽管具有可处理的建模挑战和对某些架构的潜在限制。
• 确定性量化受到硬件加速与固定码本的青睐，而随机性/概率性方法提供正则化和可解释性。