[논문 리뷰] Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning

Shangchao Su, Mingzhao Yang외 2명|arXiv (Cornell University)|2022. 11. 15.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 CLIP를 사용한 다중 도메인 이미지 분류를 위한 연합 학습 적응형 프롬프트 튜닝 방법인 FedAPT을 제안한다. 클라이언트들은 고정된 도메인 특화 키와 함께 적응형 네트워크와 메타 프롬프트를 공동으로 학습한다. 학습된 적응형 네트워크를 통해 각 테스트 샘플에 대해 개인화된 프롬프트를 동적으로 선택함으로써 FedAPT는 파라미터 수의 10% 미만으로도 완전 미세조정 모델을 초월하는 성능을 달성하며, 감독 및 비감독 설정 모두에서 다양한 클라이언트 도메인 간 강력한 일반화 능력을 입증한다.

ABSTRACT

Federated learning (FL) enables multiple clients to collaboratively train a global model without disclosing their data. Previous researches often require training the complete model parameters. However, the emergence of powerful pre-trained models makes it possible to achieve higher performance with fewer learnable parameters in FL. In this paper, we propose a federated adaptive prompt tuning algorithm, FedAPT, for multi-domain collaborative image classification with powerful foundation models, like CLIP. Compared with direct federated prompt tuning, our core idea is to adaptively unlock specific domain knowledge for each test sample in order to provide them with personalized prompts. To implement this idea, we design an adaptive prompt tuning module, which consists of a meta prompt, an adaptive network, and some keys. The server randomly generates a set of keys and assigns a unique key to each client. Then all clients cooperatively train the global adaptive network and meta prompt with the local datasets and the frozen keys. Ultimately, the global aggregation model can assign a personalized prompt to CLIP based on the domain features of each test sample. We perform extensive experiments on two multi-domain image classification datasets across two different settings -- supervised and unsupervised. The results show that FedAPT can achieve better performance with less than 10\% of the number of parameters of the fully trained model, and the global model can perform well in diverse client domains simultaneously. The source code is available at \url{https://github.com/leondada/FedAPT}.

연구 동기 및 목표

• 다양한 클라이언트 도메인 간 비독립적이고 동일하지 않은 데이터(non-IID)로 인한 연합 학습에서의 도메인 간 성능 저하 문제를 해결하기 위해.
• CLIP와 같은 강력한 사전 학습 모델을 활용해 파라미터 수를 극히 적게 조정함으로써 통신 및 학습 비용을 줄이기 위해.
• 각 테스트 샘플에 대해 도메인 특화 특징을 기반으로 개인화된 프롬프트 생성을 가능하게 하여 모든 도메인에서 동시에 분류 정확도를 향상시키기 위해.
• 원시 데이터를 공유하지 않으면서도 감독 및 비감독 설정 모두에서 높은 성능을 유지하는 강력하고 개인정보 보호 중심의 프레임워크를 개발하기 위해.

제안 방법

• 서버는 클라이언트마다 고유한 고정된 키를 할당하며, 이 키들은 학습 기간 동안 고정되어 도메인 특화 임bedding 역할을 한다.
• 적응형 네트워크는 입력 이미지의 도메인 특징을 기반으로 각 테스트 이미지에 가장 관련성이 높은 키를 선택함으로써 동적 프롬프트 생성을 가능하게 한다.
• 메타 프롬프트는 전역적으로 공유되며, 선택된 키와 요소별 곱셈을 통해 각 입력에 대한 개인화된 프롬프트를 생성한다.
• 적응형 네트워크와 메타 프롬프트는 로컬 데이터를 사용한 연합 학습을 통해 공동으로 학습되며, 전송 및 업데이트되는 것은 네트워크 및 프롬프트 파라미터뿐이다.
• 온도 하이퍼파rameter는 키 선택의 연속성(부드러움)을 조절하여, 기존 도메인에서의 성능와 미리 보지 않은 도메인으로의 일반화 능력 간 균형을 맞춘다.
• 추론 시, 적응형 네트워크는 각 샘플에 대해 키를 선택하고, 해당 프롬프트를 고정된 CLIP 모델에 적용하여 분류를 수행한다.

실험 결과

연구 질문

• RQ1 도메인 특화 키를 사용한 적응형 프롬프트 튜닝이 고정 또는 전역 프롬프트보다 다중 도메인 연합 이미지 분류에서 성능을 향상시키는가?
• RQ2 경량 적응형 네트워크와 메타 프롬프트를 사용함으로써 FedAPT가 훨씬 적은 학습 가능한 파라미터로 완전 미세조정 모델을 초월할 수 있는가?
• RQ3 적응형 키 선택 메커니즘이 기존 및 새로운 클라이언트 도메인 모두에서 성능에 어떤 영향을 미치는가?
• RQ4 레이블이 제공되지 않는 비감독 설정에서도 FedAPT가 강력한 성능을 유지할 수 있는가?
• RQ5 로컬 학습 중에 고정된 키를 포함하는 것이 로컬 모델 최적화 또는 일반화 능력에 악영향을 미치는가?

주요 결과

• 감독 설정에서 FedAPT는 Office-Caltech10 데이터셋에서 전역 모델 정확도 67.39%를 달성하였으며, 파라미터 수가 그들의 10% 미만인 완전 미세조정된 ResNet50 및 ViT 모델을 뛰어넘었다.
• 비감독 설정에서 FedAPT는 동일한 데이터셋에서 68.26%의 정확도를 기록하여 PromptFL(67.26%)을 능가하며 강력한 제로샷 일반화 능력을 입증하였다.
• 온도 τ=0.01로 설정된 적응형 네트워크는 기존 도메인에서 성능을 향상시켰다(예: 도메인 i에서 72.76%), 同시에 미리 보지 않은 도메인에서의 일반화 능력은 거의 변화 없이 유지되었다.
• 도메인 특화 키를 사용하면 해당 도메인 내에서 성능이 크게 향상된다. 예를 들어, k번째 키는 메타 프롬프트만 사용할 때보다 k번째 도메인에서 정확도를 최대 15%p 향상시켰다.
• 키 사용이 로컬 모델 학습을 제한하지 않음을 아블레이션 연구를 통해 입증하였다. 키 유무에 관계없이 유사한 로컬 모델 성능을 기록하였다.
• 추론 효율성이 크게 향상되었다: 단일 GPU에서 추론 시간이 30분에서 30초로 감소하였으며, GFLOPs는 소폭 증가(4.42 for FedAPT vs. 4.14 for ResNet50)하였다.