[论文解读] Compressing Deep Convolutional Networks using Vector Quantization

Yunchao Gong, Liu Liu+2 more|arXiv (Cornell University)|Dec 18, 2014

Advanced Neural Network Applications参考文献 20被引用 1,018

一句话总结

本文提出使用向量量化——特别是k均值聚类和乘积量化——来压缩深度卷积神经网络，重点在于减小全连接层的大小。在ImageNet上实现了高达24倍的压缩率，且精度损失低于1%，使大型模型能够在移动设备和嵌入式设备上部署。

ABSTRACT

Deep convolutional neural networks (CNN) has become the most promising method for object recognition, repeatedly demonstrating record breaking results for image classification and object detection in recent years. However, a very deep CNN generally involves many layers with millions of parameters, making the storage of the network model to be extremely large. This prohibits the usage of deep CNNs on resource limited hardware, especially cell phones or other embedded devices. In this paper, we tackle this model storage issue by investigating information theoretical vector quantization methods for compressing the parameters of CNNs. In particular, we have found in terms of compressing the most storage demanding dense connected layers, vector quantization methods have a clear gain over existing matrix factorization methods. Simply applying k-means clustering to the weights or conducting product quantization can lead to a very good balance between model size and recognition accuracy. For the 1000-category classification task in the ImageNet challenge, we are able to achieve 16-24 times compression of the network with only 1% loss of classification accuracy using the state-of-the-art CNN.

研究动机与目标

• 解决在智能手机等资源受限设备上存储大型深度卷积神经网络模型的挑战。
• 克服现有矩阵分解方法仅关注推理速度而非模型大小压缩的局限性。
• 系统评估向量量化技术作为压缩全连接层的矩阵分解方法的替代方案。
• 证明与先前方法相比，向量量化可在保持高精度的同时实现更高的压缩率。
• 验证压缩模型在图像分类之外任务中的泛化能力，包括图像检索任务。

提出的方法

• 对全连接层的权重应用k均值聚类，将其量化为离散码书，降低参数精度。
• 使用乘积量化（PQ）将权重向量划分为子向量，并独立量化每个子向量，实现在低误差下的高倍压缩。
• 探索残差量化（RQ）作为一种结构化量化方法，以进一步提升重建精度。
• 先训练原始CNN模型，然后在不微调的情况下仅对全连接层进行后训练量化。
• 仅存储量化后的码书和索引，而非全精度权重，从而大幅减小模型大小。
• 在Holidays数据集上，使用从最后一层提取的2048维特征的余弦相似度进行图像检索评估。

实验结果

研究问题

• RQ1 向量量化方法是否能在减少深度CNN存储空间方面优于矩阵分解？
• RQ2 基于k均值的标量量化与乘积量化等结构化量化方法相比，在压缩率和精度方面表现如何？
• RQ3 压缩后的CNN在下游任务（如图像检索）中的性能能保持到何种程度？
• RQ4 不同量化策略下，压缩率与精度损失之间的权衡关系如何？
• RQ5 低比特量化（如1比特或2比特）是否仍能为实际应用保留足够的表征能力？

主要发现

• 使用32个中心的k均值量化（每个权重5.3比特）在ImageNet上实现了16倍压缩，top-5精度仅下降0.5%。
• 乘积量化（PQ）在ImageNet上实现了高达24倍压缩，精度损失低于1%，优于矩阵分解方法。
• 即使采用1比特k均值量化（2个中心），也实现了32倍压缩，在Holidays数据集上mAP达到67.61，优于原始特征。
• 压缩模型在图像检索任务中表现出良好泛化能力，PQ在13.7倍压缩率下mAP达到66.37，接近原始模型的66.43。
• 结果证实CNN中的有用参数高度冗余——20倍压缩率与仅约5%的参数为关键的发现一致。
• 残差量化（RQ）表现较差，因此被排除在进一步分析之外，表明其在此任务中效果较弱。