[论文解读] BlockSwap: Fisher-guided Block Substitution for Network Compression on a Budget

Jack Turner, Elliot J. Crowley+3 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Neural Network Applications参考文献 49被引用 13

一句话总结

BlockSwap 是一种快速、基于费雪信息的深度神经网络压缩方法，通过用更便宜的替代块替换原始块以满足目标参数预算。通过使用单个训练小批量计算费雪潜力来评估候选架构，它在单张 GPU 上不到 5 分钟内即可识别出高性能的混合块类型网络，在 CIFAR-10、ImageNet 和 COCO 上的表现优于单一块类型和基线压缩方法。

ABSTRACT

The desire to map neural networks to varying-capacity devices has led to the development of a wealth of compression techniques, many of which involve replacing standard convolutional blocks in a large network with cheap alternative blocks. However, not all blocks are created equally; for a required compute budget there may exist a potent combination of many different cheap blocks, though exhaustively searching for such a combination is prohibitively expensive. In this work, we develop BlockSwap: a fast algorithm for choosing networks with interleaved block types by passing a single minibatch of training data through randomly initialised networks and gauging their Fisher potential. These networks can then be used as students and distilled with the original large network as a teacher. We demonstrate the effectiveness of the chosen networks across CIFAR-10 and ImageNet for classification, and COCO for detection, and provide a comprehensive ablation study of our approach. BlockSwap quickly explores possible block configurations using a simple architecture ranking system, yielding highly competitive networks in orders of magnitude less time than most architecture search techniques (e.g. under 5 minutes on a single GPU for CIFAR-10). Code is available at https://github.com/BayesWatch/pytorch-blockswap.

研究动机与目标

• 为在严格参数预算下高效寻找高性能混合块类型神经网络架构提供解决方案。
• 克服在压缩网络中进行块替换时，穷举搜索或神经架构搜索（NAS）带来的高昂计算成本。
• 开发一种无需完整训练即可快速排序候选架构的方法，从而实现在资源受限设备上的快速部署。
• 验证非均匀块替换——即不同块使用不同的廉价替代方案——相比均匀替换或标准蒸馏方法，能带来更好的性能。
• 在包括图像分类（CIFAR-10、ImageNet）和目标检测（COCO）在内的多种基准上，证明该方法的有效性。

提出的方法

• 通过将原始网络中的每个块替换为若干可用的廉价块类型之一，随机采样一组混合块类型候选架构，同时确保总参数量保持在目标预算内。
• 通过向每个候选网络输入单个训练小批量，并对所有块的实证费雪信息求和，计算其费雪潜力，从而估计网络对参数更新的敏感度。
• 根据费雪潜力对候选架构进行排序，选择排名最高的模型作为学生网络。
• 使用知识蒸馏结合注意力迁移的方式训练所选学生网络，其中学生网络由原始教师网络的特征图进行引导。
• 每个候选网络仅需一次前向传播即可估计其性能潜力，避免完整训练或昂贵的搜索循环。
• 利用高费雪潜力与更好泛化能力和表征能力相关联的假设，实现快速且准确的架构选择。

实验结果

研究问题

• RQ1 一种基于单批次费雪信息的快速排序方法，能否在参数预算限制下有效识别出高性能的混合块类型神经网络架构？
• RQ2 非均匀块替换——即不同块使用不同的廉价替代方案——是否相比均匀替换或标准蒸馏方法能带来更好的性能？
• RQ3 与深度/宽度缩放、剪枝或单一块类型替换等现有压缩技术相比，BlockSwap 在准确率和搜索效率方面表现如何？
• RQ4 BlockSwap 是否能在不同任务和数据集上泛化，包括图像分类和目标检测？
• RQ5 在架构排序中，费雪潜力是否可作为最终模型性能的可靠代理？

主要发现

• 在单张 GPU 上，BlockSwap 对 CIFAR-10 的搜索时间少于 5 分钟，显著低于 NAS 方法的搜索时间，可快速识别出高性能的混合块类型网络。
• 在 ImageNet 上，BlockSwap 的 800 万参数学生网络达到 26.24% 的 top-1 错误率，优于教师网络（26.73%）和 310 万参数的单一块类型 G(N) 学生网络（30.16%）。
• 在 800 万参数下，BlockSwap 学生网络的 top-5 错误率为 7.75%，比教师网络低 0.82 个百分点，且参数量仅约为其三分之一。
• 在 COCO 检测任务中，BlockSwap 主干网络（300 万参数）达到 23.4 的 AP，优于相同参数量的单一块类型 ResNet-34-G(N) 主干网络（AP 22.3）。
• 费雪潜力排序指标与最终模型性能高度相关，验证了其作为架构选择快速可靠代理的有效性。
• 消融实验表明，混合块类型网络始终优于单一块类型或均匀替换的网络，证明了非均匀块替换的优势。