[论文解读] Deep Neural Network Compression with Single and Multiple Level Quantization

Yuhui Xu, Yongzhuang Wang+3 more|arXiv (Cornell University)|Mar 6, 2018

Advanced Image and Video Retrieval Techniques被引用 43

一句话总结

本文提出用于高位量化的单级量化（SLQ）和用于极低位量化（三值化）的多级量化（MLQ），通过宽度和深度划分在保持准确性的同时减小模型大小。

ABSTRACT

Network quantization is an effective solution to compress deep neural networks for practical usage. Existing network quantization methods cannot sufficiently exploit the depth information to generate low-bit compressed network. In this paper, we propose two novel network quantization approaches, single-level network quantization (SLQ) for high-bit quantization and multi-level network quantization (MLQ) for extremely low-bit quantization (ternary).We are the first to consider the network quantization from both width and depth level. In the width level, parameters are divided into two parts: one for quantization and the other for re-training to eliminate the quantization loss. SLQ leverages the distribution of the parameters to improve the width level. In the depth level, we introduce incremental layer compensation to quantize layers iteratively which decreases the quantization loss in each iteration. The proposed approaches are validated with extensive experiments based on the state-of-the-art neural networks including AlexNet, VGG-16, GoogleNet and ResNet-18. Both SLQ and MLQ achieve impressive results.

研究动机与目标

• 由于参数量庞大且需要在资源受限设备上部署，推动高效的DNN压缩的需求。
• 提出两种量化策略（SLQ和MLQ），考虑权重分布和层级重要性。
• 开发一个实用框架，包含聚类、基于损失的划分、权重共享和再训练。
• 在标准体系结构（AlexNet、VGG-16、GoogleNet、ResNet-18）和数据集（ImageNet、CIFAR-10）上证明有效性。

提出的方法

• 使用逐层的K-means聚类为权重形成码本。
• 应用基于损失的分区，将簇分成量化和再训练组。
• 通过将权重分配到簇中心来量化所选组，并对其余权重进行再训练。
• 在所有权重量化完成之前，迭代聚类、划分、量化和再训练。
• 在SLQ中扩展ESLQ，将中心向特定数值类型约束（例如2的幂）。
• 在MLQ中引入渐进层补偿（ILC），先对高损失的层进行量化，然后再细化其他层，使三值量化成为可能。

实验结果

研究问题

• RQ1 通过聚类和基于损失的划分实现的权重分布感知量化，在高位宽度下（例如5位）是否能保持准确性？
• RQ2 深度感知策略（ILC）是否能在不改变网络结构的前提下实现可靠的极低位（三值）量化？
• RQ3 在架构（AlexNet、VGG-16、GoogleNet、ResNet-18）中，结合层级约束和中心约束是否能改善量化性能？
• RQ4 与现有量化方法（如INQ、TWN、TTQ）在像ImageNet和CIFAR-10这样的基准上相比，SLQ和MLQ的表现如何？

主要发现

• 在ImageNet派生网络（如VGG-16）上，5-bit SLQ可在某些情况下达到比全精度参考更高的Top-1/Top-5准确率。
• 在ImageNet上，5-bit SLQ在若干网络上较INQ有所提升（例如VGG-16：Top-1 72.23% vs 68.54%参考；Top-5 91.0% vs 88.65%）。
• 4-bit SLQ和3-bit SLQ的结果表明，在中心数量不同的情况下，准确率保持不变或略有下降（例如VGG-16 4-bit：Top-1 71.18%、Top-5 90.25%）。
• MLQ在CIFAR-10上实现三值量化且准确率损失很小（Light CNN：Top-1 78.46% vs 78.66%）；ResNet20：90.02% vs 91.70%；ImageNet上的AlexNet无需添加BN层即可获得可比结果。
• 在不使用BN的情况下，ImageNet上的MLQ达到54.24% Top-1和77.78% Top-5（无BN），显示在不改变架构的情况下的竞争性表现。
• 5-bit AlexNet配合SLQ实现约6x压缩；结合剪枝可达到约53x且不损失精度。