[论文解读] Neural Epitome Search for Architecture-Agnostic Network Compression

Daquan Zhou, Xiaojie Jin+4 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 39被引用 6

一句话总结

该论文提出神经表征搜索（Neural Epitome Search, NES），一种新型的架构无关网络压缩方法，通过学习紧凑且富有表现力的表征（epitomes）以及可微分的变换函数，将网络参数与模型架构解耦，从而生成特定任务的权重张量。NES在350M MAdd计算量下于ImageNet上实现了77.5%的top-1准确率，达到当前最先进水平，且计算成本低于MobileNetV2和EfficientNet-B0。

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

研究动机与目标

• 解决现有压缩方法中模型参数与架构设计直接绑定所导致的性能下降问题。
• 实现灵活的、端到端的紧凑且富有表现力的参数表征学习，且独立于网络架构。
• 通过解耦权重张量形状与架构约束，提升模型压缩效率。
• 在严格的模型大小与计算资源限制下实现高性能，尤其适用于移动端部署。
• 提供即插即用的压缩解决方案，兼容标准深度学习框架，无需专用硬件支持。

提出的方法

• 提出一种可学习的变换函数，将小尺寸的表征映射为完整尺寸的卷积核权重，实现架构无关的参数生成。
• 采用可微分的变换机制，支持通过反向传播对表征与变换函数进行端到端训练。
• 设计路由映射（routing map）以记录表征元素与扩展后核参数之间的索引映射关系，实现在推理阶段的计算重用。
• 使用紧凑且共享的参数集合（即表征），其与目标网络的架构无关，从而实现灵活的模型尺寸控制。
• 按层自适应应用变换函数，确保在高压缩比下仍具备高表征能力。
• 将整个过程封装为标准卷积层的即插即用替代模块，无需框架特定的修改。

实验结果

研究问题

• RQ1 网络参数能否被有效解耦于架构设计，从而实现独立的压缩优化？
• RQ2 可学习的变换函数能否从紧凑表征中生成高容量、任务特定的权重张量，同时保持可微性？
• RQ3 通过表征学习实现的架构无关压缩，是否相比传统方法能带来更优的准确率-压缩比权衡？
• RQ4 在相同的硬件与模型尺寸约束下，该方法能否超越基于神经架构搜索（NAS）与自动机器学习（auto-ML）的压缩技术？
• RQ5 路由映射在多大程度上通过参数重用降低了推理阶段的计算成本？

主要发现

• 在以MobileNetV2为骨干网络的ImageNet上，NES在保持top-1准确率提升1.47%的同时，将MAdd降低25%，优于全模型基线。
• 在相同压缩比下，NES相较AutoML for Model Compression（AMC）在top-1准确率上提升2.5%，证明其在相同约束下的优越性能。
• 当以EfficientNet-B0为基线时，NES在MAdd减少10%的前提下实现1.2%的top-1准确率提升，创下350M MAdd以下移动端设置下的新SOTA。
• 在CIFAR-10上，NES以0.39M参数与26.8M MAdd实现93.22%的top-1准确率，较基于NAS的AUTO-SLIM高出1.22%，且MAdd降低3.5倍。
• 在高倍压缩比（如3×）下，NES仍保持3.78%的性能增益，而基线MobileNetV2则出现显著准确率下降。
• 该方法在移动端约束下（<350M MAdd）于ImageNet上实现77.5%的top-1准确率，创下新SOTA，超越现有模型（包括EfficientNet-B0与基于NAS的方法）。