[论文解读] FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers

Jinyu Chen, Wenchao Xu+4 more|arXiv (Cornell University)|Nov 15, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

该论文提出 FedTune，一种用于联邦学习（FL）中预训练视觉与视觉-语言 Transformer 模型的参数高效联邦微调框架。实验表明，对 CLIP 模型进行偏置调优可实现最高准确率（IID 设置下超过 95%，非 IID 设置下达 92%），实现快速收敛并降低通信成本，在联邦学习设置下优于传统 CNN 模型及其他微调方法。

ABSTRACT

Federated Learning (FL) is an emerging paradigm that enables distributed users to collaboratively and iteratively train machine learning models without sharing their private data. Motivated by the effectiveness and robustness of self-attention-based architectures, researchers are turning to using pre-trained Transformers (i.e., foundation models) instead of traditional convolutional neural networks in FL to leverage their excellent transfer learning capabilities. Despite recent progress, how pre-trained Transformer models play a role in FL remains obscure, that is, how to efficiently fine-tune these pre-trained models in FL and how FL users could benefit from this new paradigm. In this paper, we explore this issue and demonstrate that the fine-tuned Transformers achieve extraordinary performance on FL, and that the lightweight fine-tuning method facilitates a fast convergence rate and low communication costs. Concretely, we conduct a rigorous empirical study of three tuning methods (i.e., modifying the input, adding extra modules, and adjusting the backbone) using two types of pre-trained models (i.e., vision-language models and vision models) for FL. Our experiments show that 1) Fine-tuning the bias term of the backbone performs best when relying on a strong pre-trained model; 2) The vision-language model (e.g., CLIP) outperforms the pure vision model (e.g., ViT) and is more robust to the few-shot settings; 3) Compared to pure local training, FL with pre-trained models has a higher accuracy because it alleviates the problem of over-fitting. We will release our code and encourage further exploration of pre-trained Transformers and FL.

研究动机与目标

• 研究如何在联邦学习中高效微调预训练 Transformer 模型，以提升模型性能并降低资源消耗。
• 评估不同参数高效微调方法（输入修改、模块添加、主干调整）在联邦学习中视觉与视觉-语言模型上的有效性。
• 确定使用基础模型进行联邦训练是否优于纯本地训练，尤其是在非独立同分布（non-IID）数据分布下。
• 衡量微调方法的通信效率与模型大小，以评估其在资源受限设备上的可部署性。

提出的方法

• 该框架应用三种微调方法：提示调优（输入修改）、适配器调优（添加额外模块）和偏置调优（主干调整），应用于预训练视觉模型（ViT）和视觉-语言模型（CLIP）。
• 联邦学习采用 FedAvg 算法，结合全局模型聚合策略，其中客户端本地训练并上传梯度至服务器。
• 收敛条件定义为达到 99% 准确率，或连续轮次间训练准确率差异小于 0.5%。
• 通信成本计算公式为 $ c = r \times n \times s \times 2 $，其中 $ r $ 为轮次，$ n $ 为客户数量，$ s $ 为模型大小。
• 研究在多种设置下评估性能：IID 与非 IID 数据、少样本（1–16 shot）以及不同客户端数量（10–100）。
• 框架进一步扩展为 Per-FedAvg，以评估在分布偏移场景下的个性化优势。

实验结果

研究问题

• RQ1 在联邦学习中微调预训练 Transformer 模型时，哪种参数高效微调方法（提示调优、适配器调优、偏置调优）表现最佳？
• RQ2 在少样本和非 IID 设置下，视觉-语言模型（如 CLIP）与纯视觉模型（如 ViT）在准确率与鲁棒性方面有何差异？
• RQ3 在数据稀缺或非 IID 场景下，使用预训练模型的联邦微调是否优于纯本地训练？
• RQ4 这些微调方法在通信成本与模型大小方面效率如何？是否适合在边缘设备上部署？
• RQ5 结合预训练模型与高效微调方法时，个性化联邦学习方法（如 Per-FedAvg）是否能进一步提升性能？

主要发现

• 在 CLIP 模型上使用偏置调优可实现最高准确率，在 IID 设置下超过 95%，在非 IID 设置下达 92%，优于所有其他微调方法。
• CLIP 模型始终优于 ViT 模型，尤其在少样本设置下，表现出更强的数据稀缺性与分布偏移鲁棒性。
• CLIP 提示调优的通信成本极低，16-shot 学习下仅为 1.038MB，且所有方法均在 15 轮内收敛。
• 微调参数极为轻量化——CLIP 提示调优仅 17.3KB，CLIP 偏置调优为 459.7KB，适合边缘设备部署。
• 在 16-shot 非 IID 学习中，使用 CLIP 偏置调优时，Per-FedAvg 比 FedAvg 提升 6.7%；在 1-shot 学习中，使用 ViT 偏置调优时，提升达 32.65%。
• 使用基础模型进行联邦训练可减少过拟合，并在非 IID 设置下实现比纯本地训练更高的准确率。