Skip to main content
QUICK REVIEW

[论文解读] One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

Arnav Chavan, Zhuang Liu|arXiv (Cornell University)|Jun 13, 2023
Domain Adaptation and Few-Shot LearningComputer Science被引用 29
一句话总结

GLoRA 是一个通用的参数高效微调框架,通过在 LoRA 上增加统一的逐层适配器/提示和再参数化,在不增加推理成本的前提下,在视觉和语言任务中实现更高的准确性。

ABSTRACT

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adapts to new tasks through not only weights but also additional dimensions like activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured vision benchmarks, achieving superior accuracy with fewer parameters and computations. The proposed method on LLaMA-1 and LLaMA-2 also show considerable enhancements compared to the original LoRA in the language domain. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code and models are available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

研究动机与目标

  • 为多样化的下游数据集和模态引入参数高效微调的动机。
  • 开发一个统一、灵活的框架,将 LoRA 延展到不仅对权重空间进行调优,还对权重和特征进行调优。
  • 通过结构性再参数化和逐层进化搜索实现具有成本效益的推理。
  • 在视觉基准(VTAB-1K、ImageNet 变体)和语言模型(LLaMA-1/2)上展示优点。
  • 展示在少样本学习、领域泛化和鲁棒性方面相对于先前 PEFT 方法的改进。

提出的方法

  • 提出一个统一的公式 f(x) = (W0 + W0 A + B) x + (C W0 + D b0 + E + b0) 来涵盖权重和特征空间的适应。
  • 引入可训练的支撑张量 A、B、C、D、E,形状灵活(LoRA、向量、标量、无)以及覆盖潜在子网的多路径超网。
  • 使用进化搜索在超网内以成本效益、数据驱动的方式选择逐层配置。
  • 应用结构性再参数化,使得在推理阶段额外参数被融合到近端投影权重中,且不增加额外的 FLOPs 或参数。
  • 在一个大型骨干网络(ViT-B, LLaMA-1/2)上训练单一超网,并在通过进化验证后提取任务特定子网。
  • 展示一个在权重空间和激活空间都能工作的平台,通过将支撑张量置零来退化为先前的方法。
Figure 1: Schematic representation of a linear layer adapted with GLoRA.
Figure 1: Schematic representation of a linear layer adapted with GLoRA.

实验结果

研究问题

  • RQ1统一的 One-for-All 公式是否能够包容现有的 PEFT 方法,并在权重、特征和提示之间提供灵活的调优?
  • RQ2通过逐层、基于搜索的适配器配置结合再参数化,在不增加推理成本的前提下,是否能获得更优的迁移、少样本学习和领域泛化性能?
  • RQ3在多样数据集上,与最先进的 PEFT 方法相比,GLoRA 在视觉和语言骨干上表现如何?
  • RQ4进化搜索在逐层配置上对准确性和训练时间的影响是什么?
  • RQ5在将调优能力扩展到激活和提示的同时,GLoRA 是否保持了推理效率?

主要发现

  • GLoRA 在 VTAB-1K、ImageNet 变体和语言基准上优于先前的 PEFT 方法,具有更高的平均准确度和更少的可训练参数。
  • GLoRA 在多个数据集上实现卓越的少样本学习和领域泛化,包括 ImageNet 变体和 Open LLM Leaderboard 任务。
  • 由于结构性再参数化,GLoRA 保持零额外推理成本,使其与许多其他 PEFT 方法区别开来。
  • GLoRA 通过将某些支撑张量置零即可退化到先前的方法,成为先前 PEFT 技术的超集。
  • 在 ViT-B 和 LLaMA-1/2 上的实验显示,在视觉和语言任务上均有持续增益,且额外的可调参数有限。
Figure 2: Results on few-shot learning datasets . The baseline methods include Adapter, LoRA, VPT, NOAH. GLoRA consistently performs better across five datasets and a varying number of training examples per class. More comparisons are provided in Appendix H .
Figure 2: Results on few-shot learning datasets . The baseline methods include Adapter, LoRA, VPT, NOAH. GLoRA consistently performs better across five datasets and a varying number of training examples per class. More comparisons are provided in Appendix H .

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。