[논문 리뷰] Federated Generative Learning with Foundation Models

Jie Zhang, Xiaohua Qi외 1명|arXiv (Cornell University)|2023. 06. 28.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 클라이언트와 서버 간에 모델 파라미터나 기울기 대신 프롬프트만 전송하는 새로운 피어드 페더레이티드 러닝 프레임워크인 페더레이티드 생성 학습(Federated Generative Learning, FGL)을 제안한다. 스테이블 디퓨전과 같은 기초 생성 모델을 활용함으로써 서버는 이러한 프롬프트에서 고품질의 훈련 데이터를 합성하여, 통신 효율성이 향상되고 데이터 이질성에 대한 강건성이 높으며, 개인정보 보호 수준이 더욱 높아지며, ImageNet과 DomainNet에서 중심화된 훈련 환경조차도 능가하는 성능을 달성한다.

ABSTRACT

Existing approaches in Federated Learning (FL) mainly focus on sending model parameters or gradients from clients to a server. However, these methods are plagued by significant inefficiency, privacy, and security concerns. Thanks to the emerging foundation generative models, we propose a novel federated learning framework, namely Federated Generative Learning. In this framework, each client can create text embeddings that are tailored to their local data, and send embeddings to the server. Then the informative training data can be synthesized remotely on the server using foundation generative models with these embeddings, which can benefit FL tasks. Our proposed framework offers several advantages, including increased communication efficiency, robustness to data heterogeneity, substantial performance improvements, and enhanced privacy protection. We validate these benefits through extensive experiments conducted on 12 datasets. For example, on the ImageNet100 dataset with a highly skewed data distribution, our method outperforms FedAvg by 12% in a single communication round, compared to FedAvg's performance over 200 communication rounds. We have released the code for all experiments conducted in this study.

연구 동기 및 목표

• 큰 모델 파라미터나 기울기를 전송하는 전통적인 페더레이티드 러닝에서 내재된 높은 통신 비용과 개인정보 위험을 해결하기 위해.
• 모델 훈련과 원시 데이터 분포의 변화를 분리함으로써 페더레이티드 러닝에서의 데이터 이질성 문제를 해결하기 위해.
• 개인정보나 소유권 제약으로 인해 원시 데이터를 공유할 수 없는 데이터 민감도가 높은 분야(예: 헬스케어)에서 협업 기반 모델 훈련을 가능하게 하기 위해.
• 기초 생성 모델의 능력을 활용해 최소한의 사생활 보호 프롬프트에서 고품질의 훈련 데이터를 합성하기 위해.
• 기존의 파rameter/기울기 교환에서 프롬프트 기반 지식 전달로의 새로운 패러다임을 개발하여 효율성과 보안성을 향상시키기 위해.

제안 방법

• 클라이언트는 로컬 훈련 데이터를 기술하는 텍스트 프롬프트만 서버로 전송하여 통신 오버헤드를 최소화한다.
• 서버는 모든 클라이언트로부터 수신한 프롬프트를 집계하고, 사전 훈련된 기초 생성 모델(예: 스테이블 디퓨전)을 사용해 종합적인 대체 훈련 데이터셋을 합성한다.
• 전역 모델은 원래 데이터의 의미적 및 분포적 특성을 유지하는 합성 데이터셋에서 훈련된다.
• 이 프레임워크는 단일 통신 라운드로 운영되어 기존의 FedAvg에 비해 훈련 라운드 수를 크게 줄인다.
• 원시 데이터나 기울기를 전송하지 않으며, 현대적인 디퓨전 모델의 낮은 기억 위험을 활용함으로써 개인정보 보호가 향상된다.
• 서버가 원시 데이터 분포가 아닌 집계된 프롬프트 기반으로 데이터를 합성하기 때문에 데이터 분포의 변화에 강건하다.

Figure 1: Left: The performance comparison between FedAvg and ours on five ImageNet subsets and a DomainNet subset. Right: Our results consistently outperform FedAvg in different data distributions on ImageSquawk dataset. Note that our 5-round results are better than the centralized training. The ci

실험 결과

연구 질문

• RQ1 모델 파라미터나 기울기를 전송하는 대신 프롬프트만 전송함으로써 페더레이티드 러닝을 효과적으로 구현할 수 있는가?
• RQ2 기존의 방법(예: FedAvg)에 비해 프롬프트 기반 페더레이티드 러닝은 얼마나 통신 비용을 줄이는가?
• RQ3 기존의 페더레이티드 러닝 베이스라인과 비교해 본다면, 제안된 방법은 데이터 이질성과 분포 이질성 상황에서 어떻게 성능을 내는가?
• RQ4 합성된 데이터의 개인정보 위험은 무엇이며, 이 프레임워크는 멤버십 추론 공격과 데이터 기억 위험에 저항하는가?
• RQ5 합성된 데이터에서 훈련된 전역 모델의 성능은 실제 데이터로 중심화된 훈련 성능을 따라잡거나 뛰어넘을 수 있는가?

주요 결과

• 제안된 FGL 프레임워크는 ResNet18를 사용할 때 FedAvg 대비 통신 비용을 99.95% 감소시켰으며, 기울기 42.7MB 대비 229바이트의 프롬프트만 전송한다.
• ImageNet과 DomainNet에서 FGL은 FedAvg를 능가하며, 일부 설정에서는 중심화된 훈련 성능을 초월한다. 5라운드 FGL 결과는 ImageSquawk에서 중심화된 훈련 성능을 뛰어넘었다.
• FGL은 원시 데이터 분포에 의존하지 않고 집계된 프롬프트에서 데이터를 합성함으로써 데이터 이질성에 강건함을 입증했다.
• 이미지 검색 및 유사도 분석 결과, 합성 이미지와 원본 훈련 데이터 간에 유사성이 뚜렷하지 않음을 확인하여, 기억 위험이 낮고 개인정보 泄露가 최소화됨을 시사한다.
• 멤버십 추론 공격 결과, FGL에서 멤버와 비멤버 샘플의 출력 분포가 FedAvg보다 유사하게 나타나 멤버십 추론 위험을 낮춘다.
• FGL에서 멤버와 비멤버의 훈련 손실 및 신뢰도 지표 간 격차는 FedAvg보다 작음을 확인하여 더 강력한 개인정보 보호 기능을 확인한다.

Figure 2: The proposed Federated Generative Learning. Firstly, the prompts from clients are uploaded and then aggregated in the server. Then, stable diffusion is used to generate synthetic data for training the global model. The updated model weights are distributed to clients.