[论文解读] Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks

Youngmin Ro, Jin Young Choi|arXiv (Cornell University)|Feb 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 18被引用 5

一句话总结

本文提出一种逐层剪枝与逐层学习率自动调优方法，用于深度网络微调，以解决单一学习率与分层特征学习之间的不匹配问题。通过按层自适应调整学习率并剪除不重要的层，该方法在图像检索和细粒度分类基准上提升了性能，同时降低了模型复杂度。

ABSTRACT

Existing fine-tuning methods use a single learning rate over all layers. In this paper, first, we discuss that trends of layer-wise weight variations by fine-tuning using a single learning rate do not match the well-known notion that lower-level layers extract general features and higher-level layers extract specific features. Based on our discussion, we propose an algorithm that improves fine-tuning performance and reduces network complexity through layer-wise pruning and auto-tuning of layer-wise learning rates. Through in-depth experiments on image retrieval (CUB-200-2011, Stanford online products, and Inshop) and fine-grained classification (Stanford cars, Aircraft) datasets, the effectiveness of the proposed algorithm is verified.

研究动机与目标

• 解决现有微调方法在所有层上使用单一学习率的局限性，该方法与分层特征学习原理相悖。
• 通过基于各层动态特性的逐层学习率自适应调整，提升微调性能。
• 通过基于学习率敏感度的结构化逐层剪枝，降低网络复杂度。
• 在图像检索与细粒度分类的多样化基准数据集上验证所提方法的有效性。

提出的方法

• 提出一种逐层学习率自动调优机制，在微调过程中独立调整每层的学习率。
• 采用一种基于训练过程中权重变化趋势贡献度的剪枝策略，移除不重要的层。
• 分析在单一学习率微调下各层的权重变化趋势，识别出与特征层次结构不一致行为的层。
• 利用观察到的变化趋势指导剪枝决策与各层学习率的自适应调整。
• 在多个卷积层与全连接层上应用结合剪枝与自适应学习率的策略。
• 通过在多个微调基准上的端到端训练与评估验证该方法。

实验结果

研究问题

• RQ1 在所有层上使用单一学习率如何影响微调过程中的分层特征学习？
• RQ2 与全局学习率相比，逐层学习率自适应是否能提升微调性能？
• RQ3 在不降低准确率的前提下，逐层剪枝在多大程度上提升了模型效率？
• RQ4 逐层权重变化趋势与深度网络中特征抽象层级之间有何相关性？
• RQ5 所提方法在图像检索与细粒度分类等不同微调任务中是否具备泛化能力？

主要发现

• 使用单一学习率导致各层权重变化趋势不一致，与从通用到具体的特征学习预期层次相悖。
• 逐层学习率自动调优在 CUB-200-2011、Stanford Online Products 和 Inshop 数据集上显著提升了微调性能。
• 所提方法通过有效的逐层剪枝，在降低模型复杂度的同时实现了更高的准确率。
• 该方法在图像检索与细粒度分类任务中均表现出一致的性能提升。
• 基于权重变化趋势的逐层剪枝能有效识别并移除冗余或低敏感度的层。
• 在所有评估基准上，该方法均优于使用全局学习率的标准微调方法。