[论文解读] LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution

Bin Sun, Jun Li+2 more|arXiv (Cornell University)|Oct 25, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用 5

一句话总结

LPRNet 提出了一种轻量级深度学习模块，采用低秩逐点残差（LPR）卷积，以减少模型大小和计算成本。通过将逐点卷积分解为低秩矩阵，并引入深度可分离残差连接，LPRNet 在图像分类和人脸对齐任务中实现了 SOTA 性能，相较于 MobileNetv1，模型参数量压缩了 73%，CPU 上的推理速度提升了 1.8 倍，同时保持了具有竞争力的准确率。

ABSTRACT

Deep learning has become popular in recent years primarily due to the powerful computing device such as GPUs. However, deploying these deep models to end-user devices, smart phones, or embedded systems with limited resources is challenging. To reduce the computation and memory costs, we propose a novel lightweight deep learning module by low-rank pointwise residual (LPR) convolution, called LPRNet. Essentially, LPR aims at using low-rank approximation in pointwise convolution to further reduce the module size, while keeping depthwise convolutions as the residual module to rectify the LPR module. This is critical when the low-rankness undermines the convolution process. We embody our design by replacing modules of identical input-output dimension in MobileNet and ShuffleNetv2. Experiments on visual recognition tasks including image classification and face alignment on popular benchmarks show that our LPRNet achieves competitive performance but with significant reduction of Flops and memory cost compared to the state-of-the-art deep models focusing on model compression.

研究动机与目标

• 为在移动和嵌入式系统等资源受限设备上部署深度神经网络，降低计算和内存成本。
• 解决在 MobileNet 和 ShuffleNetv2 等深度可分离卷积框架中，逐点卷积仍存在高参数量和高 FLOP 数的问题。
• 开发一种通用、与网络架构无关的模块，可直接替换标准卷积，无需修改现有网络结构。
• 通过引入残差学习，在采用低秩近似进行激进压缩的同时，维持或提升模型性能。

提出的方法

• LPRNet 引入了一种低秩逐点残差（LPR）模块，通过 CP 分解将大型逐点卷积分解为两个更小的低秩卷积。
• 该方法将逐点卷积的参数量从 $nm$ 降低至 $ (n + m)r $，其中 $ r \ll \min(n, m) $，显著降低计算成本。
• 通过深度可分离卷积实现残差连接，以补偿因低秩近似导致的信息损失，且不增加额外参数。
• LPR 模块可无缝集成至 MobileNet 和 ShuffleNetv2 架构中，无需修改网络结构，实现即插即用的部署。
• 网络使用 $L_2$ 损失函数，采用 Adam 优化器和 Xavier 初始化进行训练，学习率在第 15 个周期后衰减。
• 在 CPU 上通过每秒帧数（FPS）评估模型压缩率和推理速度，模型存储大小则通过压缩后的模型进行测量。

实验结果

研究问题

• RQ1 低秩矩阵分解是否可在模块级别有效应用，以在不损失性能的前提下减少深度网络中的参数量和 FLOPs？
• RQ2 通过深度可分离卷积实现的残差连接，如何缓解逐点卷积中因低秩近似导致的性能下降？
• RQ3 LPR 模块在多大程度上可减少模型大小和推理时间，同时在图像分类和人脸对齐基准上保持准确率？
• RQ4 LPR 模块是否可无缝集成至 MobileNet 和 ShuffleNetv2 等现有轻量级网络中，而无需修改网络架构？

主要发现

• 在 ImageNet 数据集上，LPRNet 实现了与当前最先进压缩模型相当的 top-1 准确率，但参数量和 FLOPs 显著更少。
• 在 AFLW2000-3D 人脸对齐基准上，LPRNet ×0.5 的 NME 比当前最先进模型 PCD-CNN 低 5%。
• LPRNet ×0.25 的 NME 与 PCD-CNN 和 MobileNetv1 相当，但在 CPU 上推理速度提升 1.8 倍，且参数量压缩率达 73%。
• LPRNet ×0.25 的模型大小仅为 ShuffleNetv1 的 3.4 倍，比最小的基线深度学习模型小 120 倍，且 NME 更低。
• 在 CPU 上，LPRNet ×0.25 的推理速度在轻量级模型中排名第二，同时在准确率上超越了最快模型（如 SDM、ERT）。
• 模型在不同人脸姿态角度下均保持高性能，且在所有测试子集上累积误差分布均表现出一致的改进。