[论文解读] FedAdapter: Efficient Federated Learning for Modern NLP

Dongqi Cai, Yaozong Wu+3 more|arXiv (Cornell University)|May 20, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FedAdapter 是一种框架，通过动态配置适配器模块（插入到 Transformer 层中的小型可训练组件）来加速大规模 NLP 模型的联邦微调。它采用渐进式适配器扩展和实时性能分析，与原始 FedNLP 相比，将收敛时间减少了高达 155.5 倍，实现了移动设备上的实际训练速度。

ABSTRACT

Transformer-based pre-trained models have revolutionized NLP for superior performance and generality. Fine-tuning pre-trained models for downstream tasks often requires private data, for which federated learning is the de-facto approach (i.e., FedNLP). However, our measurements show that FedNLP is prohibitively slow due to the large model sizes and the resultant high network/computation cost. Towards practical FedNLP, we identify as the key building blocks adapters, small bottleneck modules inserted at a variety of model layers. A key challenge is to properly configure the depth and width of adapters, to which the training speed and efficiency is highly sensitive. No silver-bullet configuration exists: the optimal choice varies across downstream NLP tasks, desired model accuracy, and mobile resources. To automate adapter configuration, we propose FedAdapter, a framework that enhances the existing FedNLP with two novel designs. First, FedAdapter progressively upgrades the adapter configuration throughout a training session; the principle is to quickly learn shallow knowledge by only training fewer and smaller adapters at the model's top layers, and incrementally learn deep knowledge by incorporating deeper and larger adapters. Second, FedAdapter continuously profiles future adapter configurations by allocating participant devices to trial groups. Extensive experiments show that FedAdapter can reduce FedNLP's model convergence delay to no more than several hours, which is up to 155.5$ imes$ faster compared to vanilla FedNLP and 48$ imes$ faster compared to strong baselines.

研究动机与目标

• 解决大规模 Transformer 模型联邦微调（FedNLP）中通信和计算开销过高的问题。
• 减少 FedNLP 中的训练延迟，使其适用于移动设备和边缘计算部署。
• 识别适配器模块作为联邦设置中高效参数高效微调的关键推动因素。
• 自动化选择适用于多样化 NLP 任务和设备资源约束的最优适配器深度与宽度配置。
• 通过自适应训练策略实现实现快速收敛，同时不损害模型准确性。

提出的方法

• 引入适配器——插入在不同 Transformer 层位置的小型可训练瓶颈模块——以减少可训练参数数量和通信成本。
• 采用渐进式训练范式：从仅顶层适配器开始，训练过程中逐步增加更深层和更宽的适配器。
• 使用试错式性能分析机制：将设备临时分配至试验组，以在全面部署前评估未来的适配器配置。
• 应用激活缓存技术，避免存储不必要的激活值，从而在反向传播过程中降低内存和计算开销。
• 与现有的联邦学习优化技术（如客户端选择和数据采样）集成，确保与更广泛的联邦学习流程兼容。
• 通过仅更新适配器参数并冻结其余预训练模型参数（超过 99% 的参数），优化梯度计算。

实验结果

研究问题

• RQ1 与全参数微调相比，基于适配器的参数高效微调是否能显著减少联邦 NLP 中的训练延迟？
• RQ2 适配器深度与宽度的配置如何影响联邦 NLP 中的收敛速度和模型准确性？
• RQ3 动态渐进式配置策略是否能在多样化 NLP 任务和设备资源下超越静态适配器配置？
• RQ4 在联邦设置中，对未来适配器配置的实时性能分析在多大程度上能提升训练效率？
• RQ5 在收敛时间与通信成本方面，FedAdapter 与强基线模型及原始 FedNLP 相比，在性能和效率上表现如何？

主要发现

• FedAdapter 将 FedNLP 中的模型收敛延迟减少至最多数小时内，相比原始 FedNLP 实现了 155.5 倍的加速。
• 与强基线相比，FedAdapter 在收敛时间上实现了 48 倍的加速，展现出卓越的效率。
• 渐进式适配器配置策略通过初始仅训练浅层小规模适配器，显著降低了早期训练开销。
• 通过试验组实现的实时性能分析，能够准确预测最优未来适配器配置，最大限度减少计算浪费。
• 通信成本大幅降低，因为仅传输和更新适配器参数，从而显著减小了梯度和模型更新的大小。
• 该框架在缩短训练时间的同时保持了高模型准确性，证明其在多样化 NLP 任务和移动设备资源约束下均具有效性。