[论文解读] TransTailor: Pruning the Pre-trained Model for Improved Transfer Learning

Bingyan Liu, Yifeng Cai+2 more|arXiv (Cornell University)|Mar 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用 6

一句话总结

TransTailor 提出了一种新颖的迁移学习方法，通过基于目标感知权重重要性的剪枝策略来优化预训练模型，而非仅依赖微调。通过迭代地剪枝和微调，并利用任务特定的重要性评分，TransTailor 生成了一个更小、更优化的子模型，在多个数据集上实现了 SOTA 准确率，同时显著降低了 FLOPs，优于标准微调和剪枝基线方法。

ABSTRACT

The increasing of pre-trained models has significantly facilitated the performance on limited data tasks with transfer learning. However, progress on transfer learning mainly focuses on optimizing the weights of pre-trained models, which ignores the structure mismatch between the model and the target task. This paper aims to improve the transfer performance from another angle - in addition to tuning the weights, we tune the structure of pre-trained models, in order to better match the target task. To this end, we propose TransTailor, targeting at pruning the pre-trained model for improved transfer learning. Different from traditional pruning pipelines, we prune and fine-tune the pre-trained model according to the target-aware weight importance, generating an optimal sub-model tailored for a specific target task. In this way, we transfer a more suitable sub-structure that can be applied during fine-tuning to benefit the final performance. Extensive experiments on multiple pre-trained models and datasets demonstrate that TransTailor outperforms the traditional pruning methods and achieves competitive or even better performance than other state-of-the-art transfer learning methods while using a smaller model. Notably, on the Stanford Dogs dataset, TransTailor can achieve 2.7% accuracy improvement over other transfer methods with 20% fewer FLOPs.

研究动机与目标

• 为解决迁移学习中预训练模型与目标任务之间结构不匹配的问题，现有方法仅调整权重而忽略此问题。
• 通过同时优化模型结构和权重来提升迁移性能，而非将模型架构视为固定不变。
• 开发一种剪枝策略，使预训练模型的架构适配特定目标任务，而非源任务。
• 通过基于目标感知滤波器重要性的迭代剪枝与微调，生成最优的、任务特定的子模型。
• 证明通过剪枝进行模型结构调优，即使在更小的模型上，也能优于标准微调。

提出的方法

• 提出一种基于学习的方法来估计目标感知滤波器重要性，无需依赖启发式方法或源任务指标。
• 引入一种转换过程，将源任务的重要性评分转化为目标任务感知的重要性，用于剪枝决策。
• 采用迭代剪枝与微调策略，每一步均使用更新后的重要性评分指导下一轮的剪枝与优化。
• 利用计算出的目标感知重要性指导剪枝过程及后续微调，确保剪枝后的模型在目标任务上仍具有效性。
• 采用一种搜索策略，通过平衡准确率与模型大小，识别出最优子模型，重点聚焦于任务特定性能，而非压缩率。
• 在多种架构（ResNet-101、VGG-16、EfficientNet-B0）和数据集上应用该方法，以验证其泛化能力。

实验结果

研究问题

• RQ1 基于目标感知重要性的剪枝是否能带来优于标准微调的迁移学习性能？
• RQ2 通过剪枝进行结构调优是否能缓解迁移学习中源任务与目标任务之间的结构不匹配问题？
• RQ3 在不同模型架构下，剪枝后的任务优化子模型性能与标准微调及其他剪枝基线相比如何？
• RQ4 在为不同目标任务生成最优子模型时，滤波器剪枝分布呈现出何种模式？
• RQ5 与 SOTA 迁移学习方法相比，该方法能否在更少 FLOPs 下实现更高准确率？

主要发现

• 在 Stanford Dogs 数据集上，TransTailor 相较于其他迁移方法实现了 2.7% 的准确率提升，同时将 FLOPs 降低了 20%。
• 在 FLOPs 减少 50% 的情况下，TransTailor 在 Stanford Dogs 数据集上比基线方法高出 8.1%，凸显其在高阶压缩场景下的优势。
• 在 VGG-16 上，TransTailor 在 FLOPs 降低 20% 至 50% 的同时，持续优于标准微调和完整微调。
• 在 EfficientNet-B0 上，TransTailor 相较于标准微调实现 7.0% 的准确率提升，较完整微调高出 0.7%，且 FLOPs 减少 20%。
• 剪枝后的滤波器并非均匀分布：浅层保留更多滤波器，因其负责通用特征表示；深层则表现出更多剪枝，尤其在最后的卷积层。
• 在 ResNet-101 上，滤波器剪枝分布缺乏 VGG-16 中的规律性，可能由于残差块的集成特性，削弱了浅层共享低级特征的假设。