[论文解读] DTL: Disentangled Transfer Learning for Visual Recognition

Minghao Fu, Ke Zhu+1 more|arXiv (Cornell University)|Dec 13, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

DTL 提出了一种解耦的迁移学习框架，通过使用轻量级紧凑侧网络（CSN）将可训练参数与冻结主干网络解耦，显著降低了 GPU 显存占用和可训练参数量，同时在视觉基准测试中实现了最先进（SOTA）的准确率。通过低秩线性映射注入任务特定知识并进行选择性特征校准，DTL 在效率和性能上均优于现有 PETL 方法。

ABSTRACT

When pre-trained models become rapidly larger, the cost of fine-tuning on downstream tasks steadily increases, too. To economically fine-tune these models, parameter-efficient transfer learning (PETL) is proposed, which only tunes a tiny subset of trainable parameters to efficiently learn quality representations. However, current PETL methods are facing the dilemma that during training the GPU memory footprint is not effectively reduced as trainable parameters. PETL will likely fail, too, if the full fine-tuning encounters the out-of-GPU-memory issue. This phenomenon happens because trainable parameters from these methods are generally entangled with the backbone, such that a lot of intermediate states have to be stored in GPU memory for gradient propagation. To alleviate this problem, we introduce Disentangled Transfer Learning (DTL), which disentangles the trainable parameters from the backbone using a lightweight Compact Side Network (CSN). By progressively extracting task-specific information with a few low-rank linear mappings and appropriately adding the information back to the backbone, CSN effectively realizes knowledge transfer in various downstream tasks. We conducted extensive experiments to validate the effectiveness of our method. The proposed method not only reduces a large amount of GPU memory usage and trainable parameters, but also outperforms existing PETL methods by a significant margin in accuracy, achieving new state-of-the-art on several standard benchmarks. The code is available at https://github.com/heekhero/DTL.

研究动机与目标

• 为了解决现有参数高效迁移学习（PETL）方法的关键局限，即尽管可训练参数减少，但 GPU 显存占用仍然较高。
• 减少大规模预训练模型微调过程中的 GPU 显存占用，该过程常导致显存不足错误。
• 通过解耦架构将可训练参数与主干网络分离，实现高效且有效的大型模型微调。
• 在多种视觉基准测试中，以最少的可训练参数和最低的内存消耗实现最先进性能。

提出的方法

• 引入一种紧凑侧网络（CSN），采用低秩线性投影，在并行于主干网络的同时提取任务特定信息。
• 将 CSN 的输出注入主干网络中特定的后期块（从索引 M 开始），以适应特征而不更新主干权重。
• 采用解耦设计，仅微调 CSN 权重和分类头，保持主干冻结，从而消除主干激活的梯度缓存。
• 在 DTL+ 中使用 Swish 激活函数和全局深度可分离卷积（DWConv），以增强特征表示和空间建模能力。
• 通过冻结主干网络的早期块，支持跨任务的特征复用，实现高效的多任务推理。
• 采用低秩参数化以最小化可训练参数量，同时保持高表示能力。

实验结果

研究问题

• RQ1 将可训练参数与主干网络解耦，是否能显著降低微调过程中的 GPU 显存占用？
• RQ2 轻量级并行侧网络是否能实现有效的知识迁移，同时仅进行极少的参数更新？
• RQ3 在解耦框架中，注入点（M）的选择如何影响准确率和内存效率？
• RQ4 所提出的方法是否能在使用更少参数和更少内存的前提下，超越现有 PETL 方法的准确率？
• RQ5 在 DTL+ 变体中，添加 DWConv 和激活函数如何提升性能？

主要发现

• DTL 显著降低了 GPU 显存占用和可训练参数量，在 VTAB-1K 上以最少的参数和显存占用实现了最高准确率。
• 在 ImageNet、ImageNet-Sketch 和 ImageNet-R 上，DTL+ 相较于之前的 SOTA 方法 NOAH，平均准确率提升高达 8%。
• 消融实验表明，DTL+ 在 d′=2 时于 VTAB-1K 上实现了 77.7% 的平均准确率，优于基线（76.0%）及其他架构变体。
• 该方法保持了高推理吞吐量，DTL 在单张 3090 GPU 上实现 892 张图像/秒的推理速度（批量大小为 16），优于 AdaptFormer 和 NOAH 等基线方法。
• 敏感性分析显示，准确率对 M（注入块索引）的选择相对不敏感，在 M=7 至 M=12 范围内性能稳定，表明方法具有鲁棒性。
• 即使在 d′=1（极低秩）条件下，DTL+ 仍保持强劲性能，证明了其在极端参数效率下的有效性。