[논문 리뷰] DENSE: Data-Free One-Shot Federated Learning

Jie Zhang, Chen Chen외 6명|arXiv (Cornell University)|2021. 12. 23.

Privacy-Preserving Technologies in Data인용 수 33

한 줄 요약

DENSE는 클라이언트 모델의 앙상블로부터 합성 데이터를 생성하고 두 단계에 걸쳐 지식을 글로벌 모델로 증류하여 이질적인 클라이언트 모델을 갖는 데이터 프리(data-free) 원샷 연합 학습을 수행합니다.

ABSTRACT

One-shot Federated Learning (FL) has recently emerged as a promising approach, which allows the central server to learn a model in a single communication round. Despite the low communication cost, existing one-shot FL methods are mostly impractical or face inherent limitations, \eg a public dataset is required, clients' models are homogeneous, and additional data/model information need to be uploaded. To overcome these issues, we propose a novel two-stage extbf{D}ata-fre extbf{E} o extbf{N}e- extbf{S}hot federated l extbf{E}arning (DENSE) framework, which trains the global model by a data generation stage and a model distillation stage. DENSE is a practical one-shot FL method that can be applied in reality due to the following advantages: (1) DENSE requires no additional information compared with other methods (except the model parameters) to be transferred between clients and the server; (2) DENSE does not require any auxiliary dataset for training; (3) DENSE considers model heterogeneity in FL, \ie different clients can have different model architectures. Experiments on a variety of real-world datasets demonstrate the superiority of our method.For example, DENSE outperforms the best baseline method Fed-ADI by 5.08\% on CIFAR10 dataset.

연구 동기 및 목표

• 보조 데이터 없이 또는 민감한 정보를 공유하지 않고도 실용적인 원샷 연합 학습의 필요성을 제시한다.
• 매개변수 평균화를 피함으로써 클라이언트 간의 모델 이질성을 가능하게 한다.
• 앙상블 모델에서의 합성 데이터 생성과 글로벌 모델로의 지식 증류라는 두 단계 프레임워크를 개발한다.
• 실제 클라이언트 데이터를 노출하지 않는 프라이버시 보장 데이터 생성을 보장한다.
• 비 IID의 실제 데이터 세트와 이질적인 클라이언트 아키텍처에서의 효과를 입증한다.

제안 방법

• Stage 1: 보조 제너레이터를 앙상블 모델을 사용하여 훈련시키고, 실제 데이터를 노출하지 않으면서 클라이언트의 훈련 분포를 닮은 합성 데이터를 생성한다.
• 유사도(평균 로짓), 안정성(BN 통계), 전달성(경계 인식 손실)을 사용하여 제너레이터를 최적화한다.
• KL 발산을 통한 경계 지원 손실을 도입하여 앙상블 모델과 글로벌 모델의 의사결정 경계 사이에 위치하는 합성 데이터를 촉진한다.
• Stage 2: 합성 데이터를 사용하여 앙상블 교사로부터 글로벌 학생 모델로 지식을 증류하고, 앙상블 로짓과 글로벌 모델 예측 사이의 KL 발산을 최소화한다.
• 매개변수 평균화가 아닌 평균 로짓을 통해 지식을 집계함으로써 이질적인 클라이언트 아키텍처를 가능하게 한다.
• 불균형 학습 기법(예: LDAM)과 함께 DENSE를 선택적으로 결합하여 불균형한 데이터에서 성능을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 데이터 없이 원샷으로 수행하는 연합 학습 프레임워크가 보조 데이터나 원시 데이터를 공유하지 않고도 강력한 글로벌 모델을 학습할 수 있는가?
• RQ2 매개변수 평균화 대신 앙상블 증류를 통해 클라이언트 간 모델 이질성을 지원할 수 있는가?
• RQ3 합성 데이터 생성과 지식 증류의 두 단계가 비 IID 설정에서 FedAvg 및 데이터 프리 베이스라인보다 성능이 우수한가?
• RQ4 BN 기반 안정성과 경계 인식 손실이 합성 데이터의 품질과 최종 글로벌 모델에 어떤 영향을 미치는가?
• RQ5 클라이언트 수의 변화 및 불균형 학습 기법의 적용이 DENSE의 성능에 어떤 영향을 주는가?

주요 결과

• DENSE는 다수의 실제 데이터 세트와 비 IID 설정에서 강력한 베이스라인(Fed-ADI 등)보다 더 높은 정확도를 달성한다.
• DENSE는 특히 비 IID 및 이질적 모델 시나리오에서 FedAvg를 지속적으로 능가한다.
• 두 단계 접근은 매개변수 평균화 없이 이질적인 클라이언트 모델에서 단일 글로벌 모델로의 효과적인 지식 전달을 가능하게 한다.
• 불균형 데이터에 대한 LDAM 적용은 특히 매우 편향된 CIFAR10 및 SVHN 설정에서 성능을 더욱 개선한다.
• 여러 통신 라운드로 확장하면 정확도가 더 향상된다.