[论文解读] LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification

Sharath Girish, Kamal Gupta+2 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Neural Network Applications被引用 7

一句话总结

LilNetX 引入了一种端到端可训练的框架，通过重新参数化的潜在空间正则化，联合优化深度神经网络的模型压缩与结构化稀疏性。其在 ResNet-20（CIFAR-10）上实现了高达 50% 的模型尺寸减小和 98% 的稀疏度，在 ResNet-50（ImageNet）上实现了 35% 的尺寸减小与 42% 的结构化稀疏度，且无需后处理或多阶段训练即可保持原始准确率。

ABSTRACT

We introduce LilNetX, an end-to-end trainable technique for neural networks that enables learning models with specified accuracy-rate-computation trade-off. Prior works approach these problems one at a time and often require post-processing or multistage training which become less practical and do not scale very well for large datasets or architectures. Our method constructs a joint training objective that penalizes the self-information of network parameters in a reparameterized latent space to encourage small model size while also introducing priors to increase structured sparsity in the parameter space to reduce computation. We achieve up to 50% smaller model size and 98% model sparsity on ResNet-20 while retaining the same accuracy on the CIFAR-10 dataset as well as 35% smaller model size and 42% structured sparsity on ResNet-50 trained on ImageNet, when compared to existing state-of-the-art model compression methods. Code is available at https://github.com/Sharath-girish/LilNetX.

研究动机与目标

• 为应对现实部署中对高效深度学习模型的日益增长需求，以最小化存储、计算和传输成本。
• 通过在单一训练过程中联合优化，弥合模型压缩（用于存储）与结构化稀疏性（用于计算）之间的差距。
• 消除对后处理量化或剪枝步骤的需求，实现无需额外处理的直接端到端训练。
• 提出一种新方法，在通过潜在空间先验维持高稀疏压缩率的同时，强制实现结构化稀疏性（切片稀疏性）。
• 通过调节正则化权重，实现对模型尺寸、推理计算量（FLOPs）与准确率之间权衡的可调控制。

提出的方法

• 该方法利用重新参数化的潜在空间对网络权重进行量化，通过最小化这些潜在表示的熵，实现极端模型压缩。
• 引入两项正则化项：一项用于非结构化稀疏性（通过潜在权重上的 L1 范数），另一项用于解码权重空间中的结构化稀疏性（切片稀疏性）。
• 通过惩罚非零的 K×K 卷积核切片来强制实现切片稀疏性，从而支持块稀疏矩阵乘法，并借助 CuSPARSE 等库实现高效推理。
• 联合优化目标结合了交叉熵损失、熵最小化以及结构化与非结构化稀疏性正则化，实现端到端训练。
• 通过调节超参数 λU（非结构化稀疏性）和 λS（结构化稀疏性），框架可控制准确率-速率-计算量之间的权衡。
• 该方法直接作用于模型参数，无需后处理或微调，支持在大规模数据集和架构上的可扩展部署。

实验结果

研究问题

• RQ1 是否可以在无需后处理的情况下，通过端到端训练联合优化模型压缩与结构化稀疏性？
• RQ2 在权重空间中强制实现切片稀疏性是否能在保持高压缩率与准确率的同时带来实际的推理加速？
• RQ3 潜在空间先验在同时实现极端压缩与结构化稀疏性方面是否有效？
• RQ4 是否可通过调节正则化超参数，有效控制模型尺寸、FLOPs 与准确率之间的权衡？
• RQ5 与现有最先进的量化与剪枝技术相比，该方法在压缩率与稀疏度方面表现如何？

主要发现

• LilNetX 在 CIFAR-10 的 ResNet-20 上实现了 50% 的模型尺寸减小与 98% 的稀疏度，且相比原始模型无准确率损失。
• 在 ImageNet 的 ResNet-50 上，该方法将模型尺寸减小了 35%，并实现了 42% 的结构化稀疏度，同时保持与基线模型相同的准确率。
• 通过可调正则化权重 λU 与 λS，该方法实现了模型尺寸、FLOPs 与准确率之间的连续权衡。
• 切片稀疏性强制实施相比仅使用非结构化稀疏性显著提升了结构化稀疏度，后者在结合结构化先验时稀疏度提升了 98%。
• 消融实验表明，结构化稀疏性先验显著提升了压缩率与稀疏度，且在更大数据集（如 CIFAR-100）上也未牺牲准确率。
• 该框架在模型压缩与结构化稀疏性方面均优于现有最先进方法，且无需后处理或多阶段训练。