[논문 리뷰] FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models

Jingwei Sun, Ziyue Xu외 5명|arXiv (Cornell University)|2023. 10. 02.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedBPT는 대규모 언어 모델(Large Language Models, LLMs)의 효율적이고 프라이버시를 보장하는 프롬프트 튜닝을 가능하게 하는 새로운 피어드 학습 프레임워크입니다. 모델 파라미터에 접근할 필요 없이도 작동하며, 지역적으로 기울기 없는 최적화(CMA-ES)를 사용해 프롬프트를 학습하고, 오직 저차원 프롬프트 벡터만을 교환함으로써 기존 기울기 기반 기준 대비 통신 비용을 500,000배 이상 감소시키고 메모리 사용량을 3배 감소시킵니다. 이와 동시에 최신 기법과 비교해 유사한 정확도를 달성합니다.

ABSTRACT

Pre-trained language models (PLM) have revolutionized the NLP landscape, achieving stellar performances across diverse tasks. These models, while benefiting from vast training data, often require fine-tuning on specific data to cater to distinct downstream tasks. However, this data adaptation process has inherent security and privacy concerns, primarily when leveraging user-generated, device-residing data. Federated learning (FL) provides a solution, allowing collaborative model fine-tuning without centralized data collection. However, applying FL to finetune PLMs is hampered by challenges, including restricted model parameter access, high computational requirements, and communication overheads. This paper introduces Federated Black-box Prompt Tuning (FedBPT), a framework designed to address these challenges. FedBPT does not require the clients to access the model parameters. By focusing on training optimal prompts and utilizing gradient-free optimization methods, FedBPT reduces the number of exchanged variables, boosts communication efficiency, and minimizes computational and storage costs. Experiments highlight the framework's ability to drastically cut communication and memory costs while maintaining competitive performance. Ultimately, FedBPT presents a promising solution for efficient, privacy-preserving fine-tuning of PLM in the age of large language models.

연구 동기 및 목표

• 클라이언트가 모델 파라미터에 접근할 수 없고 고비용의 계산, 저장, 통신 부담을 안는 피어드 학습 환경에서 대규모 언어 모델(LLMs) 파인튜닝에 직면한 과제를 해결하기 위해.
• 모델의 역전파나 파라미터 업데이트가 필요 없이 추론 접근만으로도 블랙박스 LLM의 효율적이고 프라이버시를 보장하는 적응을 가능하게 하기 위해.
• 모델 가중치나 기울기(수백만에서 수십억 개의 파라미터) 대신 프롬프트 벡터(수백 개의 파라미터)만을 교환함으로써 피어드 학습에서의 통신 오버헤드를 줄이기 위해.
• 기울기 기반 파인튜닝 기법과 경쟁 가능한 성능을 유지하면서도 모바일 기기나 AR 헤드셋과 같은 자원 제약이 있는 엣지 디바이스에서도 실행 가능한 방법을 확보하기 위해.
• 모델 크기에 관계없이 학습 가능한 파라미터 수를 일정하게 유지함으로써 더 큰 LLM에 대해 효율적으로 확장 가능한 방법을 확보하기 위해.

제안 방법

• 클라이언트는 기울기 없는 최적화 방법인 CMA-ES를 사용해 지역적으로 프롬프트 최적화를 수행하며, 모델 파라미터에 접근하거나 역전파를 수행하지 않습니다.
• 지역 학습 중에는 동결된 LLM을 통한 단순 전방 전파만 필요로 하여 엣지 디바이스에서의 계산 및 저장 비용을 최소화합니다.
• 서버는 지역적으로 최적화된 프롬프트 분포를 집계하고, 다음 라운드를 위해 글로벌 프롬프트 분포를 클라이언트에게 다시 전송합니다.
• 지역 프롬프트 탐색 중 과적합을 방지하기 위해 입력 토큰에 제어 가능한 0 비율($r_p$)을 가진 이진 마스크를 적용합니다.
• 임베딩 공간을 더 작은 공간으로 매핑하는 저차원 투영 행렬을 사용해, 압축된 프롬프트 벡터에서 효율적인 CMA-ES 최적화를 가능하게 합니다.
• 모델 가중치나 기울기 대신 오직 프롬프트 파라미터(예: 500개의 파라미터)만을 교환함으로써 통신 볼륨을 극적으로 감소시킵니다.

실험 결과

연구 질문

• RQ1 기울기 없는 최적화가 모델 파라미터에 접근할 필요 없이 피어드 환경에서 프롬프트 튜닝에 효과적으로 사용될 수 있는가?
• RQ2 기울기 기반 기준 대비 통신 및 메모리 비용을 얼마나 줄일 수 있으며, 이와 동시에 경쟁 가능한 성능을 유지할 수 있는가?
• RQ3 비독립 동일 분포(Non-IID) 데이터 분포에서 FedBPT는 기울기 기반 및 수동 프롬프트 기준 대비 어떻게 성능을 발휘하는가?
• RQ4 모델 크기가 증가함에 따라 FedBPT는 효율적으로 확장되는가? 계산 및 통신 오버헤드는 낮은 수준을 유지하는가?
• RQ5 지역 인구 수($\lambda_k$)나 마스크 비율($r_p$)과 같은 하이퍼파rameter는 모델의 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• FedBPT는 기울기 기반 기법인 FedP-tuning과 비교해 매 라운드 약 2GB의 데이터를 전송하는 대신 오직 4KB의 프롬프트 파라미터만을 교환함으로써 통신 비용을 500,000배 이상 감소시킵니다.
• 추가적인 효율적 추론 기법 없이도 기울기 기반 기법 대비 메모리 사용량을 3배 이상 감소시킵니다.
• Non-IID 환경에서 FedBPT는 수동 프롬프트 대비 SST-2, AG’s News, Yelp에서 각각 12%, 11%, 13%의 정확도 향상을 달성합니다.
• FedPrompt 및 FedP-tuning과 같은 기울기 기반 기법과 유사한 정확도를 달성하며, 특히 기울기 없는 기준이 크게 떨어지는 Non-IID 환경에서 기울기 기반 기준을 능가합니다.
• FedBPT의 모델 정확도는 지역 인구 수($\lambda_k$)에 민감하지 않아, 계산 비용을 줄이기 위해 작은 값(예: 5–20)으로 설정할 수 있습니다.
• 마스크 비율 $r_p = 0.6$인 무작위 이진 마스크 적용 시, 기존 BBT($r_p = 0$) 대비 정확도가 최대 1.6% 향상되어 지역 과적합 완화 효과가 입증되었습니다.