[论文解读] Deep Net Triage: Analyzing the Importance of Network Layers via Structural Compression

Theodore S. Nowak, Jason J. Corso|arXiv (Cornell University)|Jan 15, 2018

COVID-19 diagnosis using AI参考文献 11被引用 3

一句话总结

本文提出了一种名为'deep net triage'的方法，通过结构压缩——将一组连续的层块替换为单个压缩层——来评估深度神经网络中各层的重要性。主要发现是：没有哪一层比其他层更关键，且对整个压缩网络进行微调可获得与原始模型相当或更优的性能；知识蒸馏可加速收敛，但不会超过教师模型的准确率。

ABSTRACT

Despite their prevalence, deep networks are poorly understood. This is due, at least in part, to their highly parameterized nature. As such, while certain structures have been found to work better than others, the significance of a model's unique structure, or the importance of a given layer, and how these translate to overall accuracy, remains unclear. In this paper, we analyze these properties of deep neural networks via a process we term deep net triage. Like medical triage---the assessment of the importance of various wounds---we assess the importance of layers in a neural network, or as we call it, their criticality. We do this by applying structural compression, whereby we reduce a block of layers to a single layer. After compressing a set of layers, we apply a combination of initialization and training schemes, and look at network accuracy, convergence, and the layer's learned filters to assess the criticality of the layer. We apply this analysis across four data sets of varying complexity. We find that the accuracy of the model does not depend on which layer was compressed; that accuracy can be recovered or exceeded after compression by fine-tuning across the entire model; and, lastly, that Knowledge Distillation can be used to hasten convergence of a compressed network, but constrains the accuracy attainable to that of the base model.

研究动机与目标

• 理解在广泛应用的深度神经网络中，各层相对重要性的原因，尽管这一问题至今仍不甚明了。
• 开发一种系统性方法来评估层的关键性，而无需依赖现有的剪枝或压缩技术。
• 评估结构压缩对模型准确率、收敛速度以及学习到的滤波器表征的影响。
• 研究知识蒸馏是否能加速压缩网络的训练，以及是否能使学生模型超越教师模型的性能。
• 提供一种结构化、可解释的框架，通过压缩与蒸馏分析深度网络组件。

提出的方法

• 通过将一组连续的层（例如两个到三个卷积层后接一个池化层）替换为一个等效的单层，应用结构压缩。
• 压缩网络通过随机权重、父网络的平均权重，或通过带中间检查点的师生网络（STN）进行初始化。
• 训练仅在压缩层上进行，或在初始化后对整个网络进行，以评估收敛性和准确率。
• 使用知识蒸馏将知识从父模型迁移至压缩的学生模型，以加速收敛。
• 使用滤波器激活可视化，对不同模型间学习到的特征进行定性比较，以验证结构变化。
• 该分析在四个复杂度递增的数据集上进行：MNIST、CIFAR10、CIFAR100 和 Stanford Dogs。

实验结果

研究问题

• RQ1 压缩哪一层的选择是否会影响最终模型的准确率？
• RQ2 对整个压缩网络进行微调是否能恢复或超越原始模型的准确率？
• RQ3 知识蒸馏是否能提升压缩网络的收敛速度，且是否能使学生模型超越教师模型的性能？
• RQ4 压缩网络中的滤波器表征与原始模型和蒸馏模型相比如何？
• RQ5 数据集的复杂性是否会影响压缩层的关键性或行为？

主要发现

• 无任何一层比其他层更关键：在所有数据集中，压缩任意一层所能达到的最大准确率均相近。
• 对整个压缩网络进行微调可生成新颖且更优的滤波器表征，从而实现超越基线模型的性能。
• 知识蒸馏显著减少了收敛所需的训练轮次，但学生网络无法达到超过教师模型的准确率。
• 滤波器可视化显示，STN 网络学习到的响应几乎与父模型完全一致，而 TM-RW 网络则学习到独特且更优的滤波器，解释了性能提升的原因。
• 收敛速度因数据复杂度而异：STN 模型在复杂数据集（如 Stanford Dogs）上收敛更快，表明蒸馏有助于在更困难的训练环境中提升训练稳定性。
• 随机初始化或平均权重初始化无法提升收敛速度，甚至可能使其变慢，表明压缩模型的正确初始化至关重要。