[논문 리뷰] Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning

Guangyu Sun, Khalid, Umar외 3명|arXiv (Cornell University)|2022. 10. 04.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 ViT-Base와 같은 대규모 사전 미세조정 모델을 어댑터, 프롬프트, 바이어스 튜닝과 같은 매개변수 효율적인 미세조정(PEFT) 기법을 적용하여 사용할 수 있도록 하는 새로운 피어드 학습 프레임워크인 FedPEFT를 소개한다. 통신할 모델 가중치의 극소수만(예: 라운드당 328MB에서 0.68MB로 감소)으로 통신함으로써, FedPEFT는 다양한 피어드 학습 환경에서 경쟁력 있거나 그 이상의 성능을 달성하면서도 통신 오버헤드를 극적으로 감소시킨다.

ABSTRACT

Federated learning (FL) has emerged as a promising paradigm for enabling the collaborative training of models without centralized access to the raw data on local devices. In the typical FL paradigm (e.g., FedAvg), model weights are sent to and from the server each round to participating clients. Recently, the use of small pre-trained models has been shown to be effective in federated learning optimization and improving convergence. However, recent state-of-the-art pre-trained models are getting more capable but also have more parameters, known as the "Foundation Models." In conventional FL, sharing the enormous model weights can quickly put a massive communication burden on the system, especially if more capable models are employed. Can we find a solution to enable those strong and readily available pre-trained models in FL to achieve excellent performance while simultaneously reducing the communication burden? To this end, we investigate the use of parameter-efficient fine-tuning in federated learning and thus introduce a new framework: FedPEFT. Specifically, we systemically evaluate the performance of FedPEFT across a variety of client stability, data distribution, and differential privacy settings. By only locally tuning and globally sharing a small portion of the model weights, significant reductions in the total communication overhead can be achieved while maintaining competitive or even better performance in a wide range of federated learning scenarios, providing insight into a new paradigm for practical and effective federated systems.

연구 동기 및 목표

• ViT-Base(8400만 파라미터)와 같은 대규모 사전 미리 학습된 모델을 사용할 때 발생하는 핵심적인 통신 병목 현상을 해결한다.
• 중앙 집중식 학습에서 일반적으로 사용되는 매개변수 효율적인 미세조정(PEFT) 기법이 데이터 이질성, 클라이언트 불안정성, 차별적 프라이버시 환경 하에서 피어드 설정에 효과적으로 적용될 수 있는지 조사한다.
• 과도한 통신 비용 없이 기초 모델을 사용하여 피어드 학습에서 뛰어난 성능을 달성할 수 있도록 한다.
• 비독립 동일분포(NIID) 데이터, 자료 부족, 차별적 프라이버시 등 다양한 피어드 학습 시나리오에서 FedPEFT를 체계적으로 평가한다.
• 어려운 피어드 학습 조건 하에서 PEFT 기반의 미세조정이 전체 미세조정 및 헤드 튜닝보다 정확도와 통신 효율성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 클라이언트당 모델 파라미터의 극소수만을 업데이트할 수 있도록, 바이어스 튜닝, 어댑터 튜닝, 프롬프트 튜닝의 세 가지 PEFT 기법을 피어드 학습 프레임워크에 통합한다.
• 클라이언트에서 사전 미리 학습된 기반 모델 가중치를 동결하고, 학습 가능한 어댑터나 프롬프트 헤드의 작은 부분만 미세조정함으로써 학습 가능한 파라미터의 수를 크게 줄인다.
• 클라이언트와 서버 간에 통신하는 것은 업데이트된 PEFT 파라미터(예: 어댑터 가중치 또는 프롬프트 임베딩)뿐이며, 라운드당 통신량을 약 328MB(전체 모델)에서 약 0.68MB로 감소시킨다.
• 전역 모델 집계를 위해 표준 피어드 평균(FedAvg)을 적용하지만, PEFT 전용 파라미터만 업데이트하고 전송한다.
• 각 클라이언트가 사전 미리 학습된 모델에서 로컬 PEFT를 수행하고, 서버로 전송하는 것은 PEFT 파라미터뿐인 통합된 학습 파이프라인을 사용한다.
• 다양한 사전 학습 파라다임(감독 학습, DINO 기반 자기지도 학습)과 기반 모델 크기(ViT-B, ViT-S)를 지원하여 일반화 및 안정성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 매개변수 효율적인 미세조정(PEFT)이 피어드 학습 환경에 효과적으로 적용되어 통신 비용을 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 데이터 이질성, 클라이언트의 비독립 동일분포(NIID) 분포, 클라이언트 불안정성 조건에서, 전체 미세조정 및 헤드 튜닝과 비교해 FedPEFT는 어떻게 성능을 내는가?
• RQ3 노이즈가 기울기나 파라미터에 추가되는 차별적 프라이버시(DP) 설정 하에서 FedPEFT는 강력한 성능을 유지하는가?
• RQ4 개별 클라이언트가 1,000~2,000개의 샘플만을 가진 저자료 환경에서 FedPEFT는 어떻게 성능을 내는가?
• RQ5 다른 사전 학습 데이터셋(ImageNet-1K 대비 ImageNet-21K)과 사전 학습 파라다임(감독 대비 자기지도 학습)은 FedPEFT 성능에 어떤 영향을 미치는가?

주요 결과

• ViT-Base를 사용할 때, FedPEFT는 라운드당 통신량을 약 328MB(전체 모델)에서 약 0.68MB로 줄여 통신 오버헤드를 99.8% 감소시켰다.
• ImageNet-21K에서 완전한 사전 학습을 수행한 조건에서, 어댑터 튜닝을 사용한 FedPEFT는 동일한 사전 학습 가중치를 사용할 때 전체 미세조정(92.09%)보다 높은 87.99%의 정확도를 기록했다.
• 차별적 프라이버시(DP) 조건 하에서, DINO 사전 학습된 ViT-B를 사용한 FedPEFT는 바이어스 튜닝을 통해 ImageNet-1K에서 85.34%의 정확도를 달성했으며, 동일한 DP 제약 조건에서 전체 미세조정보다 뛰어난 성능을 보였다.
• 저자료 환경(클라이언트당 1,000~2,000개 샘플)에서 FedPEFT는 전체 미세조정 및 헤드 튜닝을 항상 능가하며, 자료 부족에 대한 강건성을 입증했다.
• ViT-B와 ViT-S 등의 다양한 기반 모델 크기와 ImageNet-1K 및 ImageNet-21K 등의 다양한 사전 학습 데이터셋에서도 FedPEFT는 뛰어난 성능을 유지하며 일반화 및 안정성을 보였다.
• 헤드 튜닝의 성능은 고정된 표현 덕분에 모델 크기나 사전 학습 데이터 스케일에 관계없이 상대적으로 안정적이지만, FedPEFT는 훨씬 높은 정확도를 달성했다.