[논문 리뷰] PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model

Tao Guo, Song Guo외 2명|arXiv (Cornell University)|2022. 08. 24.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

PromptFL은 기존의 모델 훈련을 대체하여 CLIP와 같은 기초 모델을 사용해 연합된 프롬프트 튜닝을 수행하는 혁신적인 연합 학습 프레임워크를 제안한다. 이는 엣지 디바이스에서 효율적이고, 개인정보 보호가 보장되며, 데이터 효율적인 학습을 가능하게 한다. 전체 모델 대신 경량 소프트 프롬프트만 훈련하기 때문에, 통신 및 계산 비용을 최대 110배까지 줄일 수 있으며, 최소한의 파라미터로도 경쟁적인 정확도를 달성할 수 있다. 이는 비독립 동일 분포(IID) 및 소수 샘플 설정에서도 성능을 유지를 한다.

ABSTRACT

Quick global aggregation of effective distributed parameters is crucial to federated learning (FL), which requires adequate bandwidth for parameters communication and sufficient user data for local training. Otherwise, FL may cost excessive training time for convergence and produce inaccurate models. In this paper, we propose a brand-new FL framework, PromptFL, that replaces the federated model training with the federated prompt training, i.e., let federated participants train prompts instead of a shared model, to simultaneously achieve the efficient global aggregation and local training on insufficient data by exploiting the power of foundation models (FM) in a distributed way. PromptFL ships an off-the-shelf FM, i.e., CLIP, to distributed clients who would cooperatively train shared soft prompts based on very few local data. Since PromptFL only needs to update the prompts instead of the whole model, both the local training and the global aggregation can be significantly accelerated. And FM trained over large scale data can provide strong adaptation capability to distributed users tasks with the trained soft prompts. We empirically analyze the PromptFL via extensive experiments, and show its superiority in terms of system feasibility, user privacy, and performance.

연구 동기 및 목표

• 엔드 디바이스에서 제한된 대역폭과 부족한 로컬 데이터로 인해 발생하는 연합 학습의 높은 통신 및 계산 비용을 해결하기 위해.
• 기초 모델을 활용해 프롬프트 튜닝을 통해 효율적이고, 개인정보 보호가 보장되며, 데이터 효율적인 연합 학습이 가능할지 탐색하기 위해.
• 실제 엣지 환경에서 프롬프트 기반의 연합 학습 프레임워크의 타당성, 성능 및 개인정보 보호 보장을 평가하기 위해.
• IID 및 비IID 데이터 분포 하에서 표준 연합 학습 기반 모델과의 성능 및 효율성 비교를 위해.
• 데이터 분포, 샘플 수, 클라이언트 수가 프롬프트 학습의 안정성과 정확도에 미치는 영향을 분석하기 위해.

제안 방법

• PromptFL은 기존의 연합 모델 훈련을 대체하여 연속적인 소프트 프롬프트의 공동 훈련을 수행하며, 사전 훈련된 기초 모델(예: CLIP)을 공통 백본으로 활용한다.
• 각 클라이언트는 로컬 데이터에서 소프트 프롬프트 토큰만 미세조정하고, 기초 모델의 가중치는 동결한다.
• 전역 집합은 전체 모델 가중치가 아닌 클라이언트 간 프롬프트 파라미터의 기울기 평균을 통해 수행된다.
• 프레임워크는 CLIP을 오프더쇼프 기초 모델로 사용하여 프롬프트 튜닝을 통해 제로샷 일반화 및 강력한 소수 샘플 적응을 가능하게 한다.
• 통신 오버헤드가 크게 감소하며, 각 라운드에 전송되는 프롬프트 파라미터(전체 모델 크기의 0.01%~0.1%)가 매우 작기 때문이다.
• GPU 메모리 사용량 감소 및 더 빠른 수렴 덕분에 훈련 속도가 향상되며, PromptFL은 표준 연합 학습 대비 반의 수만큼의 라운드 내에 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 기초 모델을 활용한 프롬프트 튜닝이 연합 학습에서 통신 및 계산 비용을 크게 줄일 수 있을까, 동시에 모델 성능을 유지할 수 있을까?
• RQ2 표준 연합 학습이 어려운 비IID 및 소수 샘플 데이터 설정에서 PromptFL의 성능은 어떠한가?
• RQ3 클래스 겹침과 데이터 분포 이동이 프롬프트 기반 연합 학습의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 클라이언트 수와 샘플 수가 PromptFL의 성능 및 수렴에 어떤 영향을 미치는가?
• RQ5 표준 연합 학습 대비 PromptFL이 사용자 개인정보 보호를 얼마나 잘 유지하는가?

주요 결과

• PromptFL은 전체 모델 가중치 대신 작은 프롬프트 파라미터만 전송하기 때문에, 표준 미세조정 대비 라운드당 통신 비용을 최대 110배까지 줄였다.
• PromptFL은 표준 연합 학습 대비 반의 수만큼의 훈련 라운드 내에 수렴을 달성하여 훈련 속도를 크게 향상시켰다.
• 전체 모델의 학습 가능한 파라미터의 0.01%에서 0.1%만을 사용함에도 불구하고, IID 및 비IID 데이터 설정 모두에서 경쟁적인 정확도와 F1 스코어를 달성했다.
• 클래스 겹침 비율(0%에서 50%)이 다양하게 변하더라도 성능이 안정적으로 유지되었으며, 50% 겹침일 경우 약간의 향상만 나타나 데이터 분포 이동에 대한 강건성을 보였다.
• 소수 샘플 설정(2~16샷)에서는 샷 수가 많아질수록 성능이 향상되었고, 각 클라이언트가 충분한 클래스 커버리지를 확보할 경우 Caltech101에서 16샷일 때 약 89%의 정확도로 안정화되었다.
• 클라이언트 수를 16개에서 64개로 늘릴 경우에도 각 클라이언트가 충분한 클래스 커버리지를 확보한다면 성능이 일관되게 유지되었으며, 이는 확장성과 강건성을 보여주었다.