[论文解读] Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing

Wei Dong, Dawei Yan+2 more|arXiv (Cornell University)|Oct 10, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出Adapter Re-Composing（ARC），一种参数高效的微调方法，通过在各层之间共享下投影和上投影矩阵，并学习低维重组成系数以生成层自适应适配器，从而在24个图像分类任务中实现强迁移学习性能的同时显著减少微调参数量。

ABSTRACT

The advent of high-capacity pre-trained models has revolutionized problem-solving in computer vision, shifting the focus from training task-specific models to adapting pre-trained models. Consequently, effectively adapting large pre-trained models to downstream tasks in an efficient manner has become a prominent research area. Existing solutions primarily concentrate on designing lightweight adapters and their interaction with pre-trained models, with the goal of minimizing the number of parameters requiring updates. In this study, we propose a novel Adapter Re-Composing (ARC) strategy that addresses efficient pre-trained model adaptation from a fresh perspective. Our approach considers the reusability of adaptation parameters and introduces a parameter-sharing scheme. Specifically, we leverage symmetric down-/up-projections to construct bottleneck operations, which are shared across layers. By learning low-dimensional re-scaling coefficients, we can effectively re-compose layer-adaptive adapters. This parameter-sharing strategy in adapter design allows us to significantly reduce the number of new parameters while maintaining satisfactory performance, thereby offering a promising approach to compress the adaptation cost. We conduct experiments on 24 downstream image classification tasks using various Vision Transformer variants to evaluate our method. The results demonstrate that our approach achieves compelling transfer learning performance with a reduced parameter count. Our code is available at \href{https://github.com/DavidYanAnDe/ARC}{https://github.com/DavidYanAnDe/ARC}.

研究动机与目标

• 通过减少微调中的可训练参数数量，降低大规模预训练视觉变换器微调的高昂成本。
• 通过引入参数重用机制，克服现有适配器方法随层数线性增长的局限性。
• 探究是否可通过层间共享基础投影矩阵，有效重组成低秩适配器矩阵。
• 开发一种可扩展、轻量级的适配器设计，在不增加推理成本的前提下保持性能。

提出的方法

• 引入一种基于对称下投影和上投影矩阵的低秩适配器结构，形成瓶颈操作。
• 在所有层之间共享下投影和上投影矩阵，将需学习的唯一参数数量减少。
• 学习层特定的重组成系数（低维向量），以动态调整每层适配器的有效投影。
• 在多头注意力（MHA）和前馈网络（FFN）模块之前插入适配器，以实现全面的特征微调。
• 采用参数共享机制，确保适配参数数量不会随层数线性增长。
• 通过合理放置适配器，避免推理阶段引入额外计算，从而保持推理效率。

实验结果

研究问题

• RQ1 是否能在视觉变换器中有效重用跨层的适配参数，以减少可训练参数数量？
• RQ2 在仅学习重组成系数的同时，通过在各层间共享下投影和上投影矩阵，是否能在不损失性能的前提下实现更高的参数效率？
• RQ3 瓶颈维度的选择如何影响模型性能与参数量之间的权衡？
• RQ4 适配器的最佳放置位置（MHA/FFN之前或之后）为何种配置能最大化迁移学习性能？
• RQ5 插入适配器的层数如何影响最终性能？顺序插入与并行插入哪种方法效果更优？

主要发现

• 瓶颈维度为50时，在性能与参数效率之间达到最佳平衡，10维时性能下降，更高维度时性能进一步恶化。
• 将适配器置于MHA和/或FFN模块之后会导致性能下降，而置于两者之前则表现更优。
• 同时使用MHA和FFN适配器的性能优于仅使用其中一种，表明多模块微调具有显著优势。
• 参数共享设计显著减少了可训练参数数量，且未造成性能损失；非共享或非对称设计则增加参数量但未提升结果。
• 在前六层插入适配器的性能优于在后六层插入，表明早期层从微调中获益更多。
• 参数共享机制确保适配参数数量不会随层数线性增长，从而显著提升深层模型的可扩展性。