[论文解读] KronA: Parameter Efficient Tuning with Kronecker Adapter

Ali Edalati, Marzieh S. Tahaei+4 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 11

一句话总结

KronA 提出了一种基于 Kronecker 积分解而非低秩分解的参数高效微调方法，用于基于 Transformer 的预训练语言模型。通过用基于 Kronecker 的模块替代低秩适配器，KronA 在 GLUE 基准上实现了最先进性能，且推理延迟未增加；通过 $ ext{KronA}^{ ext{B}}$ 和 $ ext{KronA}^{ ext{B}}_{ ext{res}}$ 进一部提升性能，但代价是更高的延迟。

ABSTRACT

Fine-tuning a Pre-trained Language Model (PLM) on a specific downstream task has been a well-known paradigm in Natural Language Processing. However, with the ever-growing size of PLMs, training the entire model on several downstream tasks becomes very expensive and resource-hungry. Recently, different Parameter Efficient Tuning (PET) techniques are proposed to improve the efficiency of fine-tuning PLMs. One popular category of PET methods is the low-rank adaptation methods which insert learnable truncated SVD modules into the original model either sequentially or in parallel. However, low-rank decomposition suffers from limited representation power. In this work, we address this problem using the Kronecker product instead of the low-rank representation. We introduce KronA, a Kronecker product-based adapter module for efficient fine-tuning of Transformer-based PLMs. We apply the proposed methods for fine-tuning T5 on the GLUE benchmark to show that incorporating the Kronecker-based modules can outperform state-of-the-art PET methods.

研究动机与目标

• 为解决在大规模预训练语言模型的参数高效微调（PET）方法中，低秩分解表达能力有限的问题。
• 在不增加推理延迟的前提下，提升对现有 PET 方法（如 LoRA 和适配器）的性能表现。
• 探索使用 Kronecker 积分解作为微调中低秩更新的更具表现力的替代方案。
• 在 GLUE 基准上评估 KronA 及其变体 ($\text{KronA}^{\text{B}}$、$\text{KronA}^{\text{B}}_{\text{res}}$) 的有效性。
• 证明基于 Kronecker 的模块可在保持参数效率的同时，达到或超过全量微调的准确率。

提出的方法

• KronA 用基于 Kronecker 积的可学习参数替代低秩适配器模块，将权重更新分解为两个较小矩阵的乘积。
• Kronecker 分解被应用于 T5 模型的注意力层和前馈层中的更新矩阵，实现比低秩分解更具表现力的参数更新。
• 一种变体 $ ext{KronA}^{ ext{B}}$ 将 Kronecker 模块并行插入前馈网络中，从而提升建模能力。
• $\text{KronA}^{\text{B}}_{\text{res}}$ 中引入可学习残差连接，以进一步增强表示能力。
• 所有可训练参数在推理过程中保持冻结，从而保持低延迟，最终的任务特定权重可与原始模型合并。
• 学习率、Kronecker 因子形状和缩放因子等超参数通过验证集性能按任务进行调优。

实验结果

研究问题

• RQ1 Kronecker 积分解是否能在预训练语言模型的参数高效微调中超越低秩分解？
• RQ2 所提出的 KronA 模块是否能在保持低推理延迟的前提下，实现优于最先进 PET 方法（如 LoRA 和适配器）的性能？
• RQ3 在前馈路径中并行插入 KronA（即 $ ext{KronA}^{ ext{B}}$）是否能将性能提升至超过全量微调的水平？
• RQ4 在 $ ext{KronA}^{ ext{B}}_{\text{res}}$ 中加入可学习残差连接是否能带来进一步的准确率提升，尽管代价是延迟增加？
• RQ5 Kronecker 因子的超参数如何影响在多样化 GLUE 任务上的模型性能？

主要发现

• KronA 在 GLUE 基准上优于最先进 PET 方法（包括 LoRA 和适配器），且推理延迟未增加。
• $\text{KronA}^{\text{B}}$ 变体在多个任务（包括 MNLI 和 QNLI）上的 GLUE 分数高于全量微调。
• $\text{KronA}^{\text{B}}_{\text{res}}$ 变体通过引入可学习残差连接进一步提升了性能，在多个 GLUE 任务上达到最先进结果。
• 基于 Kronecker 的模块在参数更少的情况下仍表现出更强的表示能力，证明其优于低秩分解。
• 该方法保持了低推理延迟，适用于对延迟敏感的应用场景。
• Kronecker 因子形状的超参数调优对性能影响显著，最优配置因任务而异。