[论文解读] FLoRA: Enhancing Vision-Language Models with Parameter-Efficient Federated Learning

Duy Phuong Nguyen, J. Pablo Muñoz+1 more|arXiv (Cornell University)|Apr 12, 2024

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出FLoRA，一种参数高效的联邦学习框架，将低秩适应（LoRA）与视觉-语言模型（VLMs）相结合，特别在去中心化环境下微调CLIP模型的文本编码器。通过仅训练LoRA适配器而非完整权重，FLoRA将通信开销减少至原来的1/4,766，准确率相比基线联邦方法最高提升30%，同时内存使用减少2.47倍，训练速度提升34.72倍。

ABSTRACT

In the rapidly evolving field of artificial intelligence, multimodal models, e.g., integrating vision and language into visual-language models (VLMs), have become pivotal for many applications, ranging from image captioning to multimodal search engines. Among these models, the Contrastive Language-Image Pre-training (CLIP) model has demonstrated remarkable performance in understanding and generating nuanced relationships between text and images. However, the conventional training of such models often requires centralized aggregation of vast datasets, posing significant privacy and data governance challenges. To address these concerns, this paper proposes a novel approach that leverages Federated Learning and parameter-efficient adapters, i.e., Low-Rank Adaptation (LoRA), to train VLMs. This methodology preserves data privacy by training models across decentralized data sources and ensures model adaptability and efficiency through LoRA's parameter-efficient fine-tuning. Our approach accelerates training time by up to 34.72 times and requires 2.47 times less memory usage than full fine-tuning.

研究动机与目标

• 为解决使用集中式数据聚合训练视觉-语言模型（如CLIP）时面临的数据隐私与通信低效问题。
• 通过联邦学习（FL）实现在保持模型性能的同时，实现高效、去中心化的VLM微调。
• 在联邦设置下探索通过LoRA实现参数高效适配，以最小化计算与内存开销。
• 评估LoRA集成在CLIP模型不同组件中的有效性，特别是文本编码器。
• 识别在联邦VLM训练中LoRA的最优超参数（如秩、缩放因子）

提出的方法

• 使用联邦学习在去中心化的客户端上训练CLIP模型，每个客户端持有本地数据，不共享原始数据。
• 将LoRA适配器注入CLIP模型的文本编码器投影层，以实现参数高效的微调。
• 在每轮联邦学习中，仅在客户端与服务器之间传输LoRA适配器参数，极大降低通信开销。
• 通过FedAvg更新全局模型，仅聚合并重新分发LoRA适配器权重。
• LoRA适配器通过低秩分解仅更新一小部分参数，同时保持预训练权重冻结。
• 对秩（r=2）和缩放因子（α）等超参数进行调优，以在性能与效率之间取得平衡。

实验结果

研究问题

• RQ1 在联邦设置下，基于LoRA的微调与全量微调相比，在VLM的准确率与通信效率方面表现如何？
• RQ2 在CLIP架构中——文本编码器、图像编码器或两者——LoRA适配在性能与参数比例方面表现最佳？
• RQ3 在非独立同分布（non-IID）和少样本（few-shot）条件下，LoRA适配器的最优秩与缩放因子是什么？
• RQ4 LoRA能否在不牺牲模型准确率的前提下显著降低联邦VLM训练的通信成本？
• RQ5 FLoRA在多种数据分布下（包括IID、non-IID和few-shot设置）的表现如何？

主要发现

• 与全量微调相比，FLoRA通过仅传输LoRA适配器参数，将通信开销减少至1/4,766。
• 在多个基准测试中，FLoRA相比基线联邦学习方法准确率最高提升30%，包括在non-IID和few-shot设置下。
• 与全量微调相比，FLoRA使训练收敛速度提升34.72倍，内存使用减少2.47倍。
• 秩为r=2的LoRA适配器实现最优平衡，将文本编码器的可训练参数减少至24,576个，图像编码器减少至36,864个。
• 在文本编码器中集成LoRA优于在图像编码器中适配，以更少的参数实现更高准确率。
• 适中的缩放因子（α）在性能增益与预训练特征保持之间提供最佳权衡，避免过拟合或欠拟合。