[论文解读] Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning

Shangchao Su, Mingzhao Yang+2 more|arXiv (Cornell University)|Nov 15, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 FedAPT，一种基于 CLIP 的联邦自适应提示微调方法，用于多领域图像分类。客户端协作训练一个自适应网络和一个元提示，同时冻结特定领域的键。通过学习的自适应网络为每个测试样本动态选择个性化提示，FedAPT 在参数量不足全微调模型 10% 的情况下，性能超越全微调模型，展现出在监督和无监督设置下对多样化客户端领域的强大泛化能力。

ABSTRACT

Federated learning (FL) enables multiple clients to collaboratively train a global model without disclosing their data. Previous researches often require training the complete model parameters. However, the emergence of powerful pre-trained models makes it possible to achieve higher performance with fewer learnable parameters in FL. In this paper, we propose a federated adaptive prompt tuning algorithm, FedAPT, for multi-domain collaborative image classification with powerful foundation models, like CLIP. Compared with direct federated prompt tuning, our core idea is to adaptively unlock specific domain knowledge for each test sample in order to provide them with personalized prompts. To implement this idea, we design an adaptive prompt tuning module, which consists of a meta prompt, an adaptive network, and some keys. The server randomly generates a set of keys and assigns a unique key to each client. Then all clients cooperatively train the global adaptive network and meta prompt with the local datasets and the frozen keys. Ultimately, the global aggregation model can assign a personalized prompt to CLIP based on the domain features of each test sample. We perform extensive experiments on two multi-domain image classification datasets across two different settings -- supervised and unsupervised. The results show that FedAPT can achieve better performance with less than 10\% of the number of parameters of the fully trained model, and the global model can perform well in diverse client domains simultaneously. The source code is available at \url{https://github.com/leondada/FedAPT}.

研究动机与目标

• 解决由于多样化客户端领域间数据非独立同分布（non-IID）导致联邦学习中跨领域性能下降的问题。
• 通过仅微调少量参数来降低联邦学习中的通信和训练成本，利用 CLIP 等强大预训练模型。
• 基于每个测试样本的领域特定特征，实现个性化提示生成，从而同时提升所有领域的分类准确率。
• 开发一个鲁棒且隐私保护的框架，在无需共享原始数据的前提下，确保在监督和无监督设置下均保持高性能。

提出的方法

• 服务器为客户端分配唯一的冻结键，这些键在训练过程中保持不变，作为特定领域的嵌入表示。
• 自适应网络学习根据输入图像的领域特征，选择最相关的键，从而实现动态提示生成。
• 元提示在全局范围内共享，并通过逐元素乘法与所选键结合，为每个输入生成个性化提示。
• 自适应网络和元提示通过联邦学习联合训练，仅更新并通信网络和提示参数。
• 温度超参数控制键选择的软性程度，平衡在已见领域上的性能与对未见领域的泛化能力。
• 推理阶段，自适应网络为每个样本选择一个键，相应提示被应用于冻结的 CLIP 模型以完成分类。

实验结果

研究问题

• RQ1 与固定或全局提示相比，使用领域特定键的自适应提示微调是否能提升多领域联邦图像分类的性能？
• RQ2 轻量级自适应网络与元提示的结合是否能使 FedAPT 在显著更少可学习参数下超越全微调模型？
• RQ3 自适应键选择机制如何影响在已见和未见客户端领域上的性能表现？
• RQ4 FedAPT 是否能在标签不可用的无监督设置下保持强性能？
• RQ5 在本地训练中引入冻结键是否会阻碍本地模型的优化或泛化能力？

主要发现

• 在监督设置下，FedAPT 在 Office-Caltech10 数据集上达到 67.39% 的全局模型准确率，优于参数量不足其 10% 的全微调 ResNet50 和 ViT 模型。
• 在无监督设置下，FedAPT 在同一数据集上达到 68.26% 的准确率，优于 PromptFL（67.26%），展现出强大的零样本泛化能力。
• 使用温度 τ=0.01 的自适应网络在已见领域上提升性能（例如，在领域 i 上达到 72.76%），同时在未见领域上的泛化能力几乎保持不变。
• 使用领域特定键可显著提升对应领域的性能——例如，第 k 个键使第 k 个领域的准确率相比仅使用元提示最高提升 15 个百分点。
• 消融实验表明，使用键不会限制本地模型训练，因为有键与无键设置下的本地模型性能相当。
• 推理效率显著提升：单张 GPU 上的推理时间从 30 分钟缩短至 30 秒，GFLOPs 仅略有增加（FedAPT 为 4.42，ResNet50 为 4.14）。