[论文解读] DARC: Differentiable ARchitecture Compression

Shashank Singh, Ashish Khetan+1 more|arXiv (Cornell University)|May 20, 2019

Advanced Neural Network Applications参考文献 36被引用 5

一句话总结

DARC 提出了一种可微的神经网络架构压缩框架，通过数据驱动的梯度优化方法，学习用高效替代组件替换资源密集型神经网络中的组件。该方法在 CIFAR-10 上实现了高达 5.64× 的推理速度提升和 5.64× 的内存占用减少，且无准确率损失，同时通过稀疏性诱导正则化和理论泛化界保持了性能。

ABSTRACT

In many learning situations, resources at inference time are significantly more constrained than resources at training time. This paper studies a general paradigm, called Differentiable ARchitecture Compression (DARC), that combines model compression and architecture search to learn models that are resource-efficient at inference time. Given a resource-intensive base architecture, DARC utilizes the training data to learn which sub-components can be replaced by cheaper alternatives. The high-level technique can be applied to any neural architecture, and we report experiments on state-of-the-art convolutional neural networks for image classification. For a WideResNet with $97.2\%$ accuracy on CIFAR-10, we improve single-sample inference speed by $2.28 imes$ and memory footprint by $5.64 imes$, with no accuracy loss. For a ResNet with $79.15\%$ Top1 accuracy on ImageNet, we improve batch inference speed by $1.29 imes$ and memory footprint by $3.57 imes$ with $1\%$ accuracy loss. We also give theoretical Rademacher complexity bounds in simplified cases, showing how DARC avoids overfitting despite over-parameterization.

研究动机与目标

• 为解决在资源受限的推理设备上部署高精度深度学习模型的挑战。
• 克服传统模型压缩方法（如剪枝和量化）的局限性，这些方法仅限于参数级修改，无法用结构不同的组件替换整个层。
• 开发一个统一框架，将模型压缩与神经架构搜索相结合，实现在数据驱动下用更廉价的替代组件替换网络组件。
• 通过推导简化情况下的 Rademacher 复杂度界，确保泛化能力并避免过拟合，即使在过参数化的情况下。
• 证明优化不同目标（如速度 vs. 大小）会生成不同的高效架构，从而提升准确率-效率帕累托前沿。

提出的方法

• DARC 将预训练的资源密集型神经网络划分为模块化组件，并为每个组件定义一组高效候选组件（如深度可分离卷积）。
• 将组件选择问题建模为稀疏集成学习问题，其中每个组件的贡献由可学习的、可微的门控参数加权。
• 对门控参数施加稀疏性诱导正则化项，以鼓励仅选择少数高效组件，从而促进模型压缩。
• 使用基于梯度的优化方法，联合训练网络权重和组件选择门控参数，实现在 ImageNet 等大规模数据集上的端到端训练。
• 正则化项根据目标对象进行定制——例如，最小化模型大小或最大化吞吐量——从而控制最终推理效率。
• 该框架利用预训练的基础模型进行权重的热启动，实现比从零开始训练的 NAS 方法更快的收敛速度和更优的性能。

实验结果

研究问题

• RQ1 可微且数据驱动的方法是否能通过实现用更高效替代组件替换层的结构化替换，超越传统模型压缩技术？
• RQ2 如何在过参数化的情况下，有效优化丰富的组件替换搜索空间，避免过拟合？
• RQ3 针对不同的推理目标（如速度 vs. 内存）进行优化，是否会生成结构不同的高性能架构，从而改善准确率-效率权衡？
• RQ4 能否为 DARC 框架推导出理论泛化界，特别是在稀疏性诱导正则化条件下？
• RQ5 与从随机架构开始的 NAS 方法相比，从预训练的高精度模型开始，能在多大程度上提升最终压缩模型的性能？

主要发现

• 对于在 CIFAR-10 上达到 97.2% 准确率的 WideResNet，DARC 实现了单样本推理速度 2.28× 的提升和内存占用 5.64× 的减少，且无准确率损失。
• 对于在 ImageNet 上 Top1 准确率为 79.15% 的改进版 ResNet50，DARC 实现了批量推理速度 1.29× 的提升和内存占用 3.57× 的减少，仅造成 1% 的准确率下降。
• 压缩后的模型在准确率-效率权衡上优于当前最先进模型，在 CIFAR-10 和 ImageNet 上均突破了现有的帕累托前沿。
• 针对模型大小优化的模型在结构上与针对吞吐量优化的模型明显不同，证实了‘你得到的是你所优化的’这一观点。
• 理论分析在简化情况下提供了 Rademacher 复杂度界，表明即使在过参数化和稀疏性条件下，DARC 也能避免过拟合。
• 该方法在 ImageNet 上的 Top1 准确率比 NAS 基线至少高出 3%，证明了从预训练的高性能基础模型开始的优势。