[论文解读] CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics

Li Guan, Junpeng Wang+4 more|arXiv (Cornell University)|Sep 8, 2020

Human Pose and Action Recognition参考文献 33被引用 7

一句话总结

CNN Pruner 是一个可视化分析系统，使深度学习专家能够通过利用滤波器重要性度量——不稳定性与敏感性——以及交互式可视化，交互式地设计和优化卷积神经网络（CNN）剪枝方案。该系统通过允许用户基于模型统计、滤波器可视化和实例级分析的实时反馈，迭代调整剪枝策略，从而在可控案例研究中优于基于固定阈值的自动化方法，在剪枝效率与准确率之间的权衡上表现更优。

ABSTRACT

Convolutional neural networks (CNNs) have demonstrated extraordinarily good performance in many computer vision tasks. The increasing size of CNN models, however, prevents them from being widely deployed to devices with limited computational resources, e.g., mobile/embedded devices. The emerging topic of model pruning strives to address this problem by removing less important neurons and fine-tuning the pruned networks to minimize the accuracy loss. Nevertheless, existing automated pruning solutions often rely on a numerical threshold of the pruning criteria, lacking the flexibility to optimally balance the trade-off between model size and accuracy. Moreover, the complicated interplay between the stages of neuron pruning and model fine-tuning makes this process opaque, and therefore becomes difficult to optimize. In this paper, we address these challenges through a visual analytics approach, named CNNPruner. It considers the importance of convolutional filters through both instability and sensitivity, and allows users to interactively create pruning plans according to a desired goal on model size or accuracy. Also, CNNPruner integrates state-of-the-art filter visualization techniques to help users understand the roles that different filters played and refine their pruning plans. Through comprehensive case studies on CNNs with real-world sizes, we validate the effectiveness of CNNPruner.

研究动机与目标

• 解决依赖固定数值阈值的自动化CNN剪枝方法的局限性，这些方法导致模型大小与准确率之间的权衡不理想。
• 提升迭代剪枝与微调流程的透明度与可控性，该流程通常不透明且难以优化。
• 通过交互式可视化工具赋能领域专家，使其能够实时理解滤波器角色、诊断模型行为并优化剪枝策略。
• 提供一种系统化方法，识别并分析剪枝过程中退化与改进的数据实例，从而增强模型的可解释性与鲁棒性。
• 通过支持灵活的目标驱动剪枝，使用户能够设定期望的模型大小或准确率目标，并相应地交互式调整剪枝方案。

提出的方法

• CNN Pruner 引入了两种新颖的滤波器重要性度量——不稳定性与敏感性，以指导剪枝决策，结合了滤波器的结构分析与激活基分析。
• 该系统包含一个树形视图，用于追踪和比较多个剪枝方案在迭代阶段的表现，支持版本控制与交互式重新处理。
• 统计视图可视化损失/准确率波动、恢复能力与恢复成本，帮助用户评估模型稳定性并调整剪枝深度。
• 模型视图将不稳定性与敏感性度量与交互式视觉提示相结合，允许用户基于动态、数据驱动的重要性评分选择并剪枝滤波器。
• 滤波器视图提供单个滤波器的详细交互式可视化，使用户能够检查特征图，并基于滤波器语义细化剪枝方案。
• 该系统支持渐进式剪枝，并提供关于模型性能与实例级变化（包括退化与改进的预测）的实时反馈。

实验结果

研究问题

• RQ1 可视化分析如何提升CNN剪枝过程的可解释性与可控性，特别是在平衡效率与准确率方面？
• RQ2 哪些可视化与交互技术有助于专家理解单个滤波器的作用，并在数值阈值之外评估其重要性？
• RQ3 系统如何支持灵活的、用户驱动的剪枝策略，使其能够适应模型特定特征，而非依赖固定剪枝规则？
• RQ4 可视化分析在迭代剪枝与微调过程中如何帮助诊断异常与模型退化？
• RQ5 系统如何通过多种标准（包括恢复成本与模型稳定性）促进不同剪枝方案的比较与优化？

主要发现

• CNN Pruner 通过利用交互式可视化反馈与多准则滤波器重要性估计，使用户能够制定比自动化阈值方法更有效的剪枝方案。
• 不稳定性与敏感性度量的整合显著提高了滤波器选择的精确度，减少了不必要的剪枝，同时保留了模型准确率。
• 树形视图与统计视图使专家能够监控模型演化过程，并检测过剪枝或恢复能力差的早期迹象，从而及时调整策略。
• 滤波器视图成功揭示了滤波器的功能角色，使专家能够识别并保留关键特征，尤其是在复杂或模糊的图像区域。
• 在真实世界CNN模型（如VGG-16）上的案例研究表明，与基线自动化剪枝方法相比，CNN Pruner在更高压缩率下仍能保持更好的准确率。
• 领域专家确认，CNN Pruner 提升了模型的可解释性，并提供了实用工具以优化剪枝方案，尤其体现在对退化与改进测试实例的识别方面。