[论文解读] AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning

Han Zhou, Xingchen Wan+2 more|arXiv (Cornell University)|Jan 28, 2023

VLSI and Analog Circuit Testing被引用 5

一句话总结

AutoPEFT 提出了一种使用多目标贝叶斯优化自动搜索最优参数高效微调（PEFT）配置的框架。它探索了一个综合的搜索空间，结合了多种 PEFT 模块（例如适配器、前缀调优）、模块大小和插入层，发现了优于现有 PEFT 方法的配置，并在使用显著更少可训练参数的情况下达到全量微调的准确率。

ABSTRACT

Large pretrained language models are widely used in downstream NLP tasks via task-specific fine-tuning, but such procedures can be costly. Recently, Parameter-Efficient Fine-Tuning (PEFT) methods have achieved strong task performance while updating much fewer parameters than full model fine-tuning (FFT). However, it is non-trivial to make informed design choices on the PEFT configurations, such as their architecture, the number of tunable parameters, and even the layers in which the PEFT modules are inserted. Consequently, it is highly likely that the current, manually designed configurations are suboptimal in terms of their performance-efficiency trade-off. Inspired by advances in neural architecture search, we propose AutoPEFT for automatic PEFT configuration selection: we first design an expressive configuration search space with multiple representative PEFT modules as building blocks. Using multi-objective Bayesian optimisation in a low-cost setup, we then discover a Pareto-optimal set of configurations with strong performance-cost trade-offs across different numbers of parameters that are also highly transferable across different tasks. Empirically, on GLUE and SuperGLUE tasks, we show that AutoPEFT-discovered configurations significantly outperform existing PEFT methods and are on par or better than FFT without incurring substantial training efficiency costs.

研究动机与目标

• 解决预训练语言模型中手动设计的 PEFT 配置存在的性能-效率权衡不佳问题。
• 构建一个统一且表达能力强的搜索空间，涵盖多种 PEFT 模块、模块大小和插入层选择。
• 实现对平衡任务准确率与参数效率的帕累托最优 PEFT 配置的自动发现。
• 提升所发现配置在多样化 NLP 任务间的可迁移性，同时最小化再训练需求。
• 通过自动化、可扩展的搜索，降低手动进行 PEFT 超参数调优带来的计算与工程负担。

提出的方法

• 设计一个综合的 PEFT 配置搜索空间，整合串行适配器、并行适配器、前缀调优、模块维度以及插入层选择。
• 采用多目标贝叶斯优化，同时最大化下游任务性能并最小化可训练参数数量。
• 使用低保真代理（1 个周期训练）大幅降低搜索成本，同时保持配置质量。
• 将单个低资源任务上表现最佳的配置迁移到多个下游任务，以评估泛化能力。
• 在每个任务上进行更高计算预算的 AutoPEFT 搜索，以进一步提升性能。
• 通过消融研究评估各搜索空间组件的影响，例如层选择和模块组合。

实验结果

研究问题

• RQ1 自动化框架能否在多样化的 NLP 任务上发现优于手动设计基线的 PEFT 配置？
• RQ2 单一 AutoPEFT 发现的配置在多个 GLUE 和 SuperGLUE 任务上的泛化能力如何？
• RQ3 引入多种 PEFT 模块类型和动态层选择对性能-效率权衡有何影响？
• RQ4 在低保真设置下，多目标贝叶斯优化是否能有效识别出高性能且参数高效的 PEFT 配置？
• RQ5 与全量微调相比，AutoPEFT 在准确率和训练效率方面表现如何？

主要发现

• AutoPEFT 发现的配置在 GLUE 和 SuperGLUE 基准上优于现有 PEFT 方法，以显著更少的可训练参数实现 SOTA 性能。
• 在 BERT-large 上，结合层选择的 AutoPEFT 实现了 73.86% 的 RTE 准确率，仅使用 10 个 PEFT 层和 128 的隐藏维度，优于 AdapterDrop（73.50%）和 Adaptable Adapter（73.36%），且参数更少。
• 该框架发现的配置在 GLUE 任务上达到全量微调的性能，同时将可训练参数减少高达 10 倍。
• 消融研究证实，结合多种 PEFT 模块和动态层选择相比固定配置，能显著改善性能-效率权衡。
• AutoPEFT 配置的可迁移性很强：在单一任务上训练的配置能很好地泛化到其他任务，性能下降极小。
• AutoPEFT 展现出对搜索空间的无关性，能有效探索不同粒度和复杂度的配置。