[논문 리뷰] FedPrompt: Communication-Efficient and Privacy Preserving Prompt Tuning in Federated Learning

Haodong Zhao, Wei Du외 3명|arXiv (Cornell University)|2022. 08. 25.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FedPrompt는 대규모 사전 훈련된 언어 모델(PLMs)을 동결하고 소프트 프롬프트만 튜닝함으로써 통신 비용을 0.01%로 줄이며, 통신 효율성과 개인정보 보호성을 동시에 확보하는 분산 학습 프레임워크를 제안한다. 이는 IID 및 Non-IID 데이터에서 높은 정확도를 달성하고 표준 백도어 공격에 대해 강건하며, 차별적 프라이버시(LDP)를 추가로 적용함으로써 보안성이 더욱 향상된다.

ABSTRACT

Federated learning (FL) has enabled global model training on decentralized data in a privacy-preserving way by aggregating model updates. However, for many natural language processing (NLP) tasks that utilize pre-trained language models (PLMs) with large numbers of parameters, there are considerable communication costs associated with FL. Recently, prompt tuning, which tunes some soft prompts without modifying PLMs, has achieved excellent performance as a new learning paradigm. Therefore we want to combine the two methods and explore the effect of prompt tuning under FL. In this paper, we propose "FedPrompt" to study prompt tuning in a model split aggregation way using FL, and prove that split aggregation greatly reduces the communication cost, only 0.01% of the PLMs' parameters, with little decrease on accuracy both on IID and Non-IID data distribution. This improves the efficiency of FL method while also protecting the data privacy in prompt tuning. In addition, like PLMs, prompts are uploaded and downloaded between public platforms and personal users, so we try to figure out whether there is still a backdoor threat using only soft prompts in FL scenarios. We further conduct backdoor attacks by data poisoning on FedPrompt. Our experiments show that normal backdoor attack can not achieve a high attack success rate, proving the robustness of FedPrompt. We hope this work can promote the application of prompt in FL and raise the awareness of the possible security threats.

연구 동기 및 목표

• 대규모 사전 훈련된 언어 모델(PLMs)을 위한 분산 학습에서 전체 모델 파라미터 대신 소프트 프롬프트만 튜닝함으로써 통신 오버헤드를 줄이기.
• 원시 데이터 교환을 방지하고 모델 파라미터 전송을 최소화함으로써 데이터 프라이버시를 유지하기.
• 특히 데이터 오염을 통한 백도어 공격에 대해 프롬프트 기반 분산 학습의 보안성을 평가하기.
• 차별적 프라이버시(LDP)가 FedPrompt에서 소프트 프롬프트 업데이트를 보호하는 데 얼마나 효과적인지 조사하기.
• 정확도와 통신 효율성 측면에서 기존 프롬프트 튜닝 방법(P-tuning, Prefix-Tuning 등)과 FedPrompt를 비교하기.

제안 방법

• FedPrompt는 PLM 파라미터를 동결하고, 클라이언트 간에 소프트 프롬프트만 학습 및 집계하는 분할 집계 전략을 사용한다.
• 소프트 프롬프트는 학습 가능한 임bedding으로 초기화되며, 입력 토큰 이전에 삽입되며, 레이블 단어 예측을 위해 [MASK] 토큰을 사용한다.
• 전역 모델은 FedAvg를 통해 업데이트되며, 여기서는 소프트 프롬프트 파라미터만 집계되고 클라이언트에 다시 배포된다.
• 소프트 프롬프트의 기울기에는 차별적 프라이버시(Laplace 노이즈)를 적용하여 기울기 반전 공격에 대비한다.
• 백도어 공격은 데이터 오염을 통해 평가되며, 악성 클라이언트가 학습 데이터에 트리거를 삽입하여 전역 프롬프트에 백도어를 심는다.
• 다양한 NLP 작업과 모델에서 FedPrompt를 전체 미세조정 및 다른 프롬프트 튜닝 방법(P-tuning, Prefix-Tuning)과 비교하기 위해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 분산 학습에서 프롬프트 튜닝이 전체 모델 파라미터 튜닝 대비 통신 비용을 크게 줄일 수 있을까? 동시에 높은 모델 정확도를 유지할 수 있을까?
• RQ2 FedPrompt는 IID 및 Non-IID 데이터 분포 설정에서 어떻게 성능을 발휘하는가?
• RQ3 클라이언트 간에 소프트 프롬프트를 공유할 경우 FedPrompt는 백도어 공격에 취약한가?
• RQ4 차별적 프라이버시(LDP)가 모델 성능을 심각하게 떨어뜨리지 않으면서도 소프트 프롬프트 업데이트를 효과적으로 보호할 수 있는가?
• RQ5 정확도와 통신 효율성 측면에서 다른 프롬프트 튜닝 방법(P-tuning, Prefix-Tuning 등)과 비교해 FedPrompt는 어떻게 성능을 내는가?

주요 결과

• FedPrompt는 전체 PLM 미세조정 대비 통신 비용을 0.01%로 줄였으며, BERT를 사용해 SST-2에서 90.16%의 정확도를 달성했다.
• IID 및 Non-IID 데이터 분포 상황에서 여러 모델에서 높은 정확도를 유지했다(ROBERTA: 92.43%, T5: 92.69%).
• 데이터 오염을 통한 백도어 공격는 악성 클라이언트에서만 100% 성공률를 보였지만, 정상 클라이언트 및 전역 모델에서는 효과를 발휘하지 못해 강건함을 입증했다.
• Laplace 노이즈(LDP) 적용으로 정확도가 약 5% 감소했지만, 기울기 반전 공격에 효과적으로 대비했다.
• 프롬프트 튜닝 방법 중에서 표준 프롬프트 튜닝(FedPrompt)이 정확도와 통신 비용의 최적 균형을 이룩했으며, P-tuning 및 Prefix-Tuning보다 효율성이 뛰어났다.
• FedPrompt의 최적 로컬 학습 반복 수는 약 1000–1500회이다. 반복 수가 적으면 수렴 속도가 느려지고, 너무 많아지면 국소 과적합의 위험이 있다.