[论文解读] Approximated Oracle Filter Pruning for Destructive CNN Width Optimization

Xiaohan Ding, Guiguang Ding+3 more|arXiv (Cornell University)|May 12, 2019

Advanced Neural Network Applications参考文献 45被引用 54

一句话总结

AOFP 引入多路径、训练时剪枝框架，通过使用二分搜索选择最不重要的滤波器来近似 Oracle Pruning，从而实现对跨层同时剪枝、在最小的精度损失下加速推理。

ABSTRACT

It is not easy to design and run Convolutional Neural Networks (CNNs) due to: 1) finding the optimal number of filters (i.e., the width) at each layer is tricky, given an architecture; and 2) the computational intensity of CNNs impedes the deployment on computationally limited devices. Oracle Pruning is designed to remove the unimportant filters from a well-trained CNN, which estimates the filters' importance by ablating them in turn and evaluating the model, thus delivers high accuracy but suffers from intolerable time complexity, and requires a given resulting width but cannot automatically find it. To address these problems, we propose Approximated Oracle Filter Pruning (AOFP), which keeps searching for the least important filters in a binary search manner, makes pruning attempts by masking out filters randomly, accumulates the resulting errors, and finetunes the model via a multi-path framework. As AOFP enables simultaneous pruning on multiple layers, we can prune an existing very deep CNN with acceptable time cost, negligible accuracy drop, and no heuristic knowledge, or re-design a model which exerts higher accuracy and faster inference.

研究动机与目标

• 解决在卷积神经网络中为提高效率和性能而选择各层宽度的挑战。
• 开发在减少参数和FLOPs的同时保持准确性的剪枝方法。
• 实现跨多层的同时剪枝，且时间成本最小。
• 提供用于破坏性CNN重新设计的设计工作流，以提升推理速度和准确性。

提出的方法

• 通过对下层输出的消融影响来定义滤波器的重要性（Damage Isolation）。
• 引入 Approximated Oracle Filter Pruning (AOFP)，采用多路径训练时框架，随机对滤波器进行掩蔽并累积损伤信号。
• 在每次移动中使用二分搜索方法迭代识别并剪除最不重要的滤波器。
• 使用基础路径和评分路径并行微调和评分，使跨层同时剪枝成为可能。
• 通过对下层输出的每个样本损伤取平均来计算近似重要性分数。
• 以细化阈值 theta 进行分步剪枝，以控制剪枝粒度和损伤。

实验结果

研究问题

• RQ1 相较于 Oracle Pruning，AOFP 能否在可接受的时间成本内准确识别不重要的滤波器？
• RQ2 同时进行多层剪枝是否在减小 FLOPs 和参数的同时保持深层 CNN 的准确性？
• RQ3 二分搜索策略是否能在不需要人工逐层调优的情况下自适应剪枝粒度和终止条件？
• RQ4 在多样化架构（VGG、ResNet）和数据集（CIFAR-10、ImageNet）上，与现有剪枝方法相比，AOFP 的表现如何？
• RQ5 在给定FLOPs预算下，由AOFP引导的Destructive CNN Re-design 是否能带来更高的准确性？

主要发现

• AOFP 在滤波器重要性估计方面达到接近Oracle的质量，同时显著降低时间成本。
• AOFP 实现跨多层的同时剪枝，并在 VGG、ResNet 等 CNN 上实现显著的 FLOPs 和参数缩减，且精度损失可忽略。
• 在 AOFP 指导下的 Destructive CNN Re-design 通过在各层重新分配通道宽度来提升精度和速度（例如某些层需要更多或更少的滤波器）。
• 在 CIFAR-10 和 ImageNet 上的实验显示强烈的压缩，与其他剪枝方法相比具有有竞争力或更高的 Top-1/Top-5 准确率。
• AOFP 自动检测更易剪枝的层并随时间调整剪枝粒度，实现全局渐进剪枝，而无需大量人工调优。