[论文解读] Deep Model Compression via Filter Auto-sampling.

Daquan Zhou, Xiaojie Jin+3 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 10被引用 2

一句话总结

本文提出了一种可微分的、端到端的自动采样方法，用于深度模型压缩，能够为一维和二维卷积神经网络学习最优的滤波器采样规则，显著优于手工设计的WSNet方法。在相同的压缩率下，该方法在1D CNN上实现了6.5%更高的准确率，并在FLOPs减少25%的情况下，将ImageNet准确率提升1.47%，超越MobileNetV2。

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

研究动机与目标

• 为克服现有模型压缩方法（如WSNet）中固定且手工设计的滤波器采样策略的局限性。
• 实现一维和二维CNN滤波器采样规则的端到端学习，以提升模型表达能力和压缩效率。
• 通过优化采样步长和通道选择，实现模型压缩率与性能之间的更好权衡。
• 在无需昂贵搜索的情况下，达到或超越神经架构搜索（NAS）方法（如AMC和MnasNet）的性能。
• 在ImageNet和1D CNN等标准基准上，展示优越的泛化能力和效率。

提出的方法

• 提出一种可微分的采样规则学习机制，联合优化来自一组紧凑滤波器的采样步长和通道选择。
• 引入一种端到端可训练的框架，其中采样决策是可微分的，支持通过采样操作进行反向传播。
• 利用一组预定义的紧凑滤波器，并根据输入特征和网络深度学习选择哪些滤波器进行采样。
• 采用可微分的采样操作，使训练过程中梯度能够流动，从而实现网络权重与采样策略的联合优化。
• 将自动采样机制应用于一维和二维CNN，将WSNet的适用范围从一维网络扩展至二维网络。
• 通过学习最有效的滤波器组合，优化采样策略以平衡模型压缩与准确率。

实验结果

研究问题

• RQ1 与手工设计的采样策略相比，端到端学习滤波器采样规则是否能提升模型压缩性能？
• RQ2 自动采样在保持或提升1D和2D CNN准确率的同时，能在多大程度上减少FLOPs？
• RQ3 与最先进的基于NAS的模型（如AMC和MnasNet）相比，所提方法在准确率和效率方面表现如何？
• RQ4 该自动采样机制是否能在不同网络架构和数据集（如ImageNet和1D基准）上实现良好泛化？
• RQ5 在相同压缩率下，该方法相比WSNet的性能增益是多少？

主要发现

• 在相同压缩率下，所提方法相比WSNet将1D CNN的准确率提升了6.5%。
• 在ImageNet上，该方法在FLOPs减少25%的情况下，Top-1准确率比MobileNetV2高出1.47%。
• 在与基线模型相同的主干网络架构下，该方法优于基于NAS的方法（如AMC和MnasNet）。
• 端到端的可微分采样规则学习使采样步长和通道选择的优化更加有效。
• 该方法在1D和2D CNN上均展现出强大的泛化能力，将滤波器自动采样技术的应用范围从一维网络扩展至二维网络。
• 性能增益归因于所学习的、自适应的采样策略，该策略能更好地保留模型的表达能力。