[论文解读] CPOT: Channel Pruning via Optimal Transport

Yucong Shen, Shen Li+3 more|arXiv (Cornell University)|May 21, 2020

Blind Source Separation Techniques参考文献 34被引用 4

一句话总结

CPOT 提出了一种新颖的通道剪枝方法，利用最优传输理论计算通道特征分布的 Wasserstein 中心，以识别并移除深度神经网络中的冗余滤波器。该方法在图像分类任务中优于 FPGM 等当前最先进方法，在 ResNets 上表现优异，并能以极小的性能损失有效压缩如 StarGAN 的生成对抗网络，展现出在复杂生成任务中的卓越鲁棒性。

ABSTRACT

Recent advances in deep neural networks (DNNs) lead to tremendously growing network parameters, making the deployments of DNNs on platforms with limited resources extremely difficult. Therefore, various pruning methods have been developed to compress the deep network architectures and accelerate the inference process. Most of the existing channel pruning methods discard the less important filters according to well-designed filter ranking criteria. However, due to the limited interpretability of deep learning models, designing an appropriate ranking criterion to distinguish redundant filters is difficult. To address such a challenging issue, we propose a new technique of Channel Pruning via Optimal Transport, dubbed CPOT. Specifically, we locate the Wasserstein barycenter for channels of each layer in the deep models, which is the mean of a set of probability distributions under the optimal transport metric. Then, we prune the redundant information located by Wasserstein barycenters. At last, we empirically demonstrate that, for classification tasks, CPOT outperforms the state-of-the-art methods on pruning ResNet-20, ResNet-32, ResNet-56, and ResNet-110. Furthermore, we show that the proposed CPOT technique is good at compressing the StarGAN models by pruning in the more difficult case of image-to-image translation tasks.

研究动机与目标

• 为解决由于深度学习模型可解释性有限，导致难以识别深度神经网络中冗余滤波器的挑战。
• 通过利用最优传输理论改进通道剪枝，以更好地捕捉通道分布的几何结构。
• 开发一种方法，能够有效压缩分类模型和生成模型，包括 GAN 等复杂情况。
• 在准确率和效率方面超越现有的基于范数和几何中位数的剪枝技术。
• 通过更有效的通道剪枝，实现深度模型在资源受限设备上的高效部署。

提出的方法

• CPOT 使用最优传输理论计算每一层中所有通道特征分布的 Wasserstein 中心，该中心在 Wasserstein 距离下代表分布的质心。
• 将与中心距离较小的通道识别为冗余并予以剪枝，因为其携带的信息可被替代。
• 该方法按层进行，剪枝后重建网络以保持模型完整性和效率。
• 利用最优传输计算滤波器概率分布之间的距离，相比传统范数或几何中位数，能实现更优的几何建模。
• 在微调过程中迭代应用，每 5,000 次迭代执行一次剪枝，以在 GAN 中保持模型稳定性。
• 在图像分类（ResNets）和图像到图像翻译（StarGAN）任务上，使用 FID 和 IS 指标进行评估。

实验结果

研究问题

• RQ1 基于最优传输的通道剪枝是否能在模型压缩方面超越现有的基于范数和几何中位数的方法？
• RQ2 CPOT 是否能有效压缩如 StarGAN 这类对结构变化更敏感的生成对抗网络？
• RQ3 使用 Wasserstein 中心是否能比几何中位数或基于范数的标准更准确地表征冗余信息？
• RQ4 在高剪枝率下，CPOT 在低资源环境和复杂生成任务中性能保持如何？
• RQ5 CPOT 是否能应用于多种架构和数据集，而不会导致显著性能下降？

主要发现

• 在图像分类任务中，CPOT 在 ResNet-20、ResNet-32、ResNet-56 和 ResNet-110 上均优于 FPGM 及其他最先进方法，剪枝后准确率更高。
• 在 CelebA 数据集上，当对 5 属性 StarGAN 模型剪枝 30% 的通道时，CPOT 保持压缩后 FID 为 17.62，IS 为 3.04，优于 FPGM。
• 对于 3 属性 StarGAN 模型，CPOT 实现压缩后 FID 为 14.87，IS 为 3.04，IS 甚至超过原始模型的得分。
• CPOT 在 GAN 上表现出色，而大多数剪枝方法在 GAN 上表现不佳，证明其在复杂非分类任务中的鲁棒性。
• 该方法在 FID 和 IS 指标上保持极低的性能退化，实现高质量图像生成，证明其在图像到图像翻译任务中的有效性。
• CPOT 展现出强大的泛化潜力，能有效压缩多种架构和任务中的模型，包括对结构敏感度高的任务。