[论文解读] Filter Grafting for Deep Neural Networks

Fan‐Xu Meng, Hao Cheng+5 more|arXiv (Cornell University)|Jan 15, 2020

Advanced Neural Network Applications参考文献 27被引用 9

一句话总结

本文提出滤波器嫁接（filter grafting），一种新颖的训练范式，通过从其他网络嫁接外部权重来重新激活深度神经网络中不重要的滤波器，从而在不改变网络结构的前提下显著提升性能。该方法采用基于熵的判据与自适应加权策略，增强表示能力，在CIFAR-100上实现高达7%的准确率提升。

ABSTRACT

This paper proposes a new learning paradigm called filter grafting, which aims to improve the representation capability of Deep Neural Networks (DNNs). The motivation is that DNNs have unimportant (invalid) filters (e.g., l1 norm close to 0). These filters limit the potential of DNNs since they are identified as having little effect on the network. While filter pruning removes these invalid filters for efficiency consideration, filter grafting re-activates them from an accuracy boosting perspective. The activation is processed by grafting external information (weights) into invalid filters. To better perform the grafting process, we develop an entropy-based criterion to measure the information of filters and an adaptive weighting strategy for balancing the grafted information among networks. After the grafting operation, the network has very few invalid filters compared with its untouched state, enpowering the model with more representation capacity. We also perform extensive experiments on the classification and recognition tasks to show the superiority of our method. For example, the grafted MobileNetV2 outperforms the non-grafted MobileNetV2 by about 7 percent on CIFAR-100 dataset. Code is available at https://github.com/fxmeng/filter-grafting.git.

研究动机与目标

• 解决深度神经网络中不重要（L1范数较低）滤波器的利用率不足问题，这些滤波器通常因效率考虑被剪枝，但仍可能具备潜在的表征能力。
• 探究通过引入外部信息重新激活此类滤波器是否可提升模型性能，而非直接丢弃它们。
• 开发一种单阶段、自监督的训练方法，通过滤波器嫁接实现在并行网络之间的知识迁移。
• 在保持网络结构不变的同时，通过嫁接增加有效滤波器数量，从而提升深度神经网络的表征能力。
• 验证滤波器嫁接在多种任务中的泛化能力，包括图像分类、目标识别和行人重识别。

提出的方法

• 提出滤波器嫁接作为一种新范式，通过从外部网络赋予新权重来重新激活低重要性滤波器，同时保持原始网络结构不变。
• 采用基于熵的判据来衡量滤波器的信息含量，识别出不重要且适合嫁接的滤波器。
• 实施自适应加权策略，以平衡不同层和不同网络中嫁接信息的贡献。
• 在训练过程中并行训练多个网络，定期将一个网络中有意义的滤波器嫁接到另一个网络中的无效滤波器上。
• 在无监督条件下执行嫁接过程，依赖网络固有的结构与特征表示。
• 在嫁接过程中保持源网络与目标网络之间的层和通道一致性，以确保兼容性与有效信息传递。

实验结果

研究问题

• RQ1 能否有效重新激活深度神经网络中的不重要滤波器以提升模型性能，而非将其剪枝？
• RQ2 嫁接的最佳信息来源是什么——网络内部特征还是外部网络？
• RQ3 如何定量度量滤波器的信息含量以指导嫁接过程？
• RQ4 有哪些策略可平衡不同层和网络中嫁接权重的贡献，以最大化性能增益？
• RQ5 滤波器嫁接是否在不同数据集和任务（如ImageNet、CIFAR-100和行人重识别）中具有泛化能力？

主要发现

• 滤波器嫁接显著提升模型准确率：在CIFAR-100上，MobileNetV2的Top-1准确率达到78.32%，较未嫁接基线模型提升7%。
• 在基线模型中，无效滤波器（L1范数 < 1e-3）占比约50%，而在嫁接网络中降至极低比例，证实了有效重新激活。
• 嫁接网络的信息熵更高，信息增益更大，表明其表征能力得到增强。
• 随着并行网络数量的增加，性能持续提升，显示出良好的可扩展性及多模型间的正向协同效应。
• 在ImageNet上，ResNet18和ResNet34的Top-1准确率分别提升2.04%和1.98%，证明其在大规模数据集上的有效性。
• 在行人重识别任务中，嫁接显著提升了Market1501和DukeMTMC-ReID数据集上的mAP与Rank-1准确率，其中在使用四个网络时，Market1501的mAP最高提升达6.7%。