[论文解读] INTERPRETABLE CONVOLUTIONAL FILTER PRUNING

Zhuwei Qin, Fuxun Yu+3 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Neural Network Applications参考文献 27被引用 5

一句话总结

本文提出了一种面向功能的卷积神经网络滤波器剪枝方法，通过分析滤波器功能的定性分析揭示冗余性，而不仅依赖于滤波器响应幅度。通过识别并移除功能重复或有缺陷的滤波器，该方法在保持高性能的同时显著提升了计算效率，并提供了可解释的剪枝决策。

ABSTRACT

The sophisticated structure of Convolutional Neural Network (CNN) allows for outstanding performance, but at the cost of intensive computation. As significant redundancies inevitably present in such a structure, many works have been proposed to prune the convolutional filters for computation cost reduction. Although extremely effective, most works are based only on quantitative characteristics of the convolutional filters, and highly overlook the qualitative interpretation of individual filter's specific functionality. In this work, we interpreted the functionality and redundancy of the convolutional filters from different perspectives, and proposed a functionality-oriented filter pruning method. With extensive experiment results, we proved the convolutional filters' qualitative significance regardless of magnitude, demonstrated significant neural network redundancy due to repetitive filter functions, and analyzed the filter functionality defection under inappropriate retraining process. Such an interpretable pruning approach not only offers outstanding computation cost optimization over previous filter pruning methods, but also interprets filter pruning process.

研究动机与目标

• 为解决现有滤波器剪枝方法仅依赖幅度等定量指标而缺乏可解释性的问题。
• 探究卷积滤波器是否在基于幅度的冗余之外还存在功能冗余。
• 分析不当微调如何影响滤波器功能并导致性能下降。
• 开发一种在剪枝前解释滤波器角色的剪枝框架，以同时提升效率与模型透明度。
• 证明基于功能的定性分析可带来优于仅基于幅度的剪枝决策。

提出的方法

• 通过分析滤波器的激活模式和特征响应特性，提出基于功能的卷积滤波器解释方法。
• 利用基于激活的度量方法，通过测量滤波器之间的功能相似性来量化滤波器冗余。
• 提出一种新型剪枝准则，优先移除功能重复或低效的滤波器，而不论其幅度大小。
• 通过可视化和分析剪枝前后滤波器的行为，将可解释性整合到剪枝流程中。
• 采用一种保留功能多样性的微调策略，避免在微调过程中发生功能退化。
• 在多种CNN架构和数据集上评估该框架，以验证其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 卷积滤波器在基于幅度的冗余之外，其功能冗余程度如何？
• RQ2 不当微调在剪枝过程中如何影响滤波器的功能完整性？
• RQ3 滤波器功能能否被可靠地解释并用作剪枝准则？
• RQ4 基于功能的剪枝与基于幅度的剪枝在准确率和效率方面有何差异？
• RQ5 功能多样性对剪枝后模型性能有何影响？

主要发现

• 研究表明，即使滤波器幅度不同，由于功能模式重复，仍存在显著的滤波器冗余。
• 具有相似功能的滤波器通常冗余，移除它们对模型准确率影响极小。
• 不当微调会导致功能退化，即滤波器失去原有角色，从而降低性能。
• 所提方法在降低计算成本方面优于基于幅度的剪枝方法，同时保持或提升了准确率。
• 可解释的剪枝不仅实现了更优的模型压缩，还为理解网络行为提供了洞察，增强了模型透明度。