[论文解读] Hierarchical Side-Tuning for Vision Transformers

Weifeng Lin, Ziheng Wu+4 more|arXiv (Cornell University)|Oct 9, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出层级侧微调（HST），一种用于视觉变换器（Vision Transformers）的参数高效迁移学习方法，通过轻量级可学习的层级侧网络（HSN）从主干网络的中间激活中生成多尺度特征。HST 仅使用 0.78M 可训练参数即达到最先进性能，在 VTAB-1k 上实现 76.0% 的 Top-1 准确率，超越全微调方法；在 COCO 上的对象检测与分割任务中也优于现有参数高效迁移学习（PETL）方法。

ABSTRACT

Fine-tuning pre-trained Vision Transformers (ViTs) has showcased significant promise in enhancing visual recognition tasks. Yet, the demand for individualized and comprehensive fine-tuning processes for each task entails substantial computational and memory costs, posing a considerable challenge. Recent advancements in Parameter-Efficient Transfer Learning (PETL) have shown potential for achieving high performance with fewer parameter updates compared to full fine-tuning. However, their effectiveness is primarily observed in simple tasks like image classification, while they encounter challenges with more complex vision tasks like dense prediction. To address this gap, this study aims to identify an effective tuning method that caters to a wider range of visual tasks. In this paper, we introduce Hierarchical Side-Tuning (HST), an innovative PETL method facilitating the transfer of ViT models to diverse downstream tasks. Diverging from existing methods that focus solely on fine-tuning parameters within specific input spaces or modules, HST employs a lightweight Hierarchical Side Network (HSN). This network leverages intermediate activations from the ViT backbone to model multi-scale features, enhancing prediction capabilities. To evaluate HST, we conducted comprehensive experiments across a range of visual tasks, including classification, object detection, instance segmentation, and semantic segmentation. Remarkably, HST achieved state-of-the-art performance in 13 out of the 19 tasks on the VTAB-1K benchmark, with the highest average Top-1 accuracy of 76.1%, while fine-tuning a mere 0.78M parameters. When applied to object detection and semantic segmentation tasks on the COCO and ADE20K testdev benchmarks, HST outperformed existing PETL methods and even surpassed full fine-tuning.

研究动机与目标

• 为解决在多样化下游任务中微调大型视觉变换器所带来的高计算与内存开销问题。
• 弥合参数高效迁移学习（PETL）与全微调在密集预测任务（如目标检测与分割）中的性能差距。
• 设计一种灵活且参数高效的框架，利用主干网络的中间特征以提升泛化能力。
• 在保持低推理开销的前提下，以极少的可训练参数实现高性能。

提出的方法

• 引入一种层级侧网络（HSN），将可训练参数与预训练 ViT 主干网络解耦，实现高效适应。
• 采用元标记（Meta-Tokens, MetaT）将可学习提示注入输入嵌入，增强特征表示学习能力。
• 设计自适应特征桥接模块（AFB），对主干网络的中间激活进行预处理与对齐，以实现高效注入 HSN。
• 在 HSN 中引入一种新型侧块结构，由交叉注意力与前馈网络（FFN）模块组成，用于融合来自不同层级的多尺度特征。
• 采用细粒度注入机制，将中间特征在 HSN 的多个阶段注入，提升特征精炼效果。
• 利用线性权重共享与全局标记池化，提升效率并增强全局上下文整合能力。

Figure 1: Previous paradigm vs. our paradigm, including Adapters, Prompt Tuning, LoRA and our Hierarchical Side-Tuning (HST).

实验结果

研究问题

• RQ1 参数高效方法是否能在目标检测与分割等密集预测任务中实现与全微调相当的性能？
• RQ2 侧网络的层级结构如何提升视觉变换器中的多尺度特征学习能力？
• RQ3 Meta-Tokens 与注入机制的最佳配置为何？能否在性能与效率之间实现良好平衡？
• RQ4 将可训练参数分离至侧网络是否能在不损失准确率的前提下降低计算成本？

主要发现

• HST 在 VTAB-1k 上实现 76.0% 的最先进平均 Top-1 准确率，仅使用 0.78M 可训练参数，优于全微调方法（65.6%）。
• 在 COCO testdev 基准上，HST 使用 Cascade Mask R-CNN 实现 49.7 的 box AP 与 43.2 的 mask AP，超越全微调方法。
• 消融实验表明，细粒度注入机制贡献最大提升，相比基线，APb 提升 5.5，APM 提升 5.0。
• 在分类任务中，使用单个 Meta-Token 的性能优于多个标记；而在密集预测任务中，最多 8 个标记为最优配置。
• 采用线性权重共享与全局标记池化的 HSN 提升了效率与性能，减少了对多个全连接层的需求。
• t-SNE 与 Grad-CAM 可视化结果表明，HST 学习到的特征更具判别性与空间定位性，优于其他 PETL 方法。

Figure 2: Overall architecture of HST. The Blue Section represents the plain ViT, with its weights kept frozen. The Green Section is referred to as the Adaptive Feature Bridge (AFB), which serves the crucial role of bridging and preprocessing intermediate activations derived from the ViT. The Pink S