[论文解读] Compression of Deep Neural Networks for Image Instance Retrieval

Vijay Chandrasekhar, Jie Lin+5 more|arXiv (Cornell University)|Jan 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 20被引用 4

一句话总结

本文提出了一种针对图像实例检索任务的深度神经网络综合压缩框架，结合了量化、剪枝、编码和权重重用技术——尤其针对残差网络——实现了仅5–10 MB大小的模型，与全精度网络相比性能损失可忽略不计。

ABSTRACT

Image instance retrieval is the problem of retrieving images from a database which contain the same object. Convolutional Neural Network (CNN) based descriptors are becoming the dominant approach for generating {\it global image descriptors} for the instance retrieval problem. One major drawback of CNN-based {\it global descriptors} is that uncompressed deep neural network models require hundreds of megabytes of storage making them inconvenient to deploy in mobile applications or in custom hardware. In this work, we study the problem of neural network model compression focusing on the image instance retrieval task. We study quantization, coding, pruning and weight sharing techniques for reducing model size for the instance retrieval problem. We provide extensive experimental results on the trade-off between retrieval performance and model size for different types of networks on several data sets providing the most comprehensive study on this topic. We compress models to the order of a few MBs: two orders of magnitude smaller than the uncompressed models while achieving negligible loss in retrieval performance.

研究动机与目标

• 解决在移动和嵌入式系统中部署大型未压缩深度神经网络的挑战，因其存储和内存需求过高。
• 研究模型压缩技术——量化、剪枝、编码和权重重用——特别针对图像实例检索任务，该任务与图像分类任务具有不同的需求。
• 对多种架构和数据集上的模型大小与检索性能之间的权衡进行全面的实证分析。
• 实现基于深度学习的描述符在新兴标准（如MPEG的紧凑视觉搜索描述符CDVS）中的部署，该标准要求特征提取器的大小在1 MB以内。

提出的方法

• 对网络权重应用4至5比特的标量量化，降低精度的同时保持检索性能。
• 对全连接层使用向量量化（VQ）和标量量化（SQ），并通过霍夫曼编码进一步减小模型大小。
• 通过移除卷积层中的整个滤波器或通道实施结构化剪枝，减少模型大小的同时保持特征表示能力。
• 在深度残差网络（ResNets）中引入残差块之间的权重重用，显著降低参数数量，实现重复块间的共享权重。
• 从零开始训练具有共享权重的共享ResNet模型，并进一步通过量化和编码进行压缩。
• 在多个网络（AlexNet、VGG、ResNet、SqueezeNet）和数据集（Oxford-5K、Paris-6K、Holidays、UKB）上评估压缩技术，通过mAP衡量性能。

实验结果

研究问题

• RQ1 在图像实例检索任务中，对深度网络应用量化、剪枝和编码时，模型大小与检索性能之间的权衡如何？
• RQ2 在深度残差网络中，残差块之间的权重重用如何影响模型大小和检索准确率？
• RQ3 能否将压缩后的模型缩小至几兆字节（例如5–10 MB）同时保持与全精度模型相当的性能？
• RQ4 在不同架构和数据集上，各种压缩技术在性能和效率方面的表现如何比较？
• RQ5 激进的架构优化（如SqueezeNet）在减小模型大小的同时，对检索性能的损害程度如何？

主要发现

• 4比特量化对AlexNet和VGG造成可忽略的性能损失，而ResNet则需要5比特量化以维持高检索准确率。
• 5–10 MB的压缩模型在所有数据集上均实现了与未压缩模型几乎相同的检索性能，模型大小减少了100倍。
• 剪枝与更粗粒度的量化在模型大小与性能之间表现出相似的权衡，表明两者均为有效的压缩策略。
• 在Oxford-5K上，压缩后的VGG表现最佳；而在Paris-6K、Holidays和UKB上，压缩后的ResNet优于其他模型。
• 采用权重重用的共享ResNet相比非共享版本将模型大小减少了3–4倍，进一步的量化可实现更小的模型。
• 基于SqueezeNet的模型（C-SqueezeN）仅0.5 MB，但性能显著低于表现最佳的方案，表明激进的架构压缩会损害检索性能。