[논문 리뷰] Synthetic data shuffling accelerates the convergence of federated learning under data heterogeneity

Bo Li, Yasin Esfandiari외 3명|arXiv (Cornell University)|2023. 06. 23.

Privacy-Preserving Technologies in Data참고 문헌 54인용 수 4

한 줄 요약

이 논문은 데이터 이질성 하에서 피어드 학습 수렴 속도를 높이기 위해 로컬에서 생성한 합성 데이터를 클라이언트 간에 섞는 프레임워크인 Fedssyn을 제안한다. 이론적으로 섞음이 기울기 비유사성을 제곱적으로 감소시키고 통신 라운드 수를 초선형적으로 감소시킴을 증명함으로써, Fedssyn은 데이터 프라이버시를 위반하지 않으면서도 중심집중 학습에 가까운 성능을 달성한다.

ABSTRACT

In federated learning, data heterogeneity is a critical challenge. A straightforward solution is to shuffle the clients' data to homogenize the distribution. However, this may violate data access rights, and how and when shuffling can accelerate the convergence of a federated optimization algorithm is not theoretically well understood. In this paper, we establish a precise and quantifiable correspondence between data heterogeneity and parameters in the convergence rate when a fraction of data is shuffled across clients. We prove that shuffling can quadratically reduce the gradient dissimilarity with respect to the shuffling percentage, accelerating convergence. Inspired by the theory, we propose a practical approach that addresses the data access rights issue by shuffling locally generated synthetic data. The experimental results show that shuffling synthetic data improves the performance of multiple existing federated learning algorithms by a large margin.

연구 동기 및 목표

• 데이터 이질성 하에서 데이터 섞기와 수렴 속도 간의 정밀하고 정량적인 관계를 규명하는 것.
• 실제 데이터를 로컬에서 생성한 합성 데이터로 대체함으로써 데이터 섞기 과정에서 발생하는 프라이버시 우려를 해결하는 것.
• 기존 피어드 학습 알고리즘과 호환되는 실용적이고 즉시 사용 가능한 프레임워크를 개발하는 것.
• 합성 데이터 섞기가 다양한 환경에서 수렴 속도와 모델 정확도 향상에 기여하는지 경험적으로 검증하는 것.

제안 방법

• 이론적 분석을 통해 데이터의 일부 비율 p를 섞을 경우 기울기 비유사성이 제곱적으로 감소하고 통신 라운드 수가 초선형적으로 감소함을 증명한다.
• Fedssyn 제안: 각 클라이언트는 자신의 데이터를 기반으로 로컬 생성기를 훈련시며, 이를 통해 합성 샘플을 생성하고 서버가 이를 섞어 재배포한다.
• 합성 데이터 섞기는 시작 시 한 번만 수행되며, 피어드 학습 훈련 중 추가적인 조율이나 데이터 전송이 필요하지 않다.
• 이 프레임워크는 어떤 피어드 학습 알고리즘과도 호환되며, 실제 데이터 공유를 방지함으로써 프라이버시를 유지한다.
• 경험적 평가에서는 DDPM 및 GAN 기반 생성기를 사용해 합성 데이터를 생성하고, 상위 1위 정확도와 통신 라운드 수를 성능 측정 지표로 사용한다.
• 강력한 볼록성 및 비볼록성(DNN 기반) 설정을 사용해 이론적 수렴 경계를 검증한다.

실험 결과

연구 질문

• RQ1 데이터 이질성 하에서 피어드 학습의 수렴 속도에 대해 클라이언트 간에 일부 데이터를 섞을 경우, 그 영향을 정량적으로 어떻게 평가할 수 있는가?
• RQ2 실제 데이터 섞기의 수렴 이점을 유지하면서도 데이터 프라이버시를 보장할 수 있도록 합성 데이터 섞기가 가능할 수 있는가?
• RQ3 합성 데이터의 품질과 분포 일치가 피어드 학습 성능에 어떤 영향을 미치는가?
• RQ4 섞는 합성 데이터 비율이 수렴 속도에 영향을 주는 확률적 노이즈와 기울기 비유사성에 어떤 영향을 미치는가?
• RQ5 기울기 비유사성의 이론적 감소가 통신 효율성 향상과 정확도 향상에 측정 가능한 영향을 미치는가?

주요 결과

• 데이터의 일부 비율 p를 섞을 경우 기울기 비유사성이 제곱적으로 감소하고, 이로 인해 필요한 통신 라운드 수가 초선형적으로 감소한다—감소 요인은 p보다 크다.
• p = 0.06일 때 Fedssyn은 기울기 비유사성을 50% 감소시키며, 기준 모델 대비 상위 1위 정확도를 20% 향상시킨다.
• p = 0.5일 때 모델은 IID 기준 모델보다 높은 상위 1위 정확도를 달성하여 높은 이질성 하에서도 거의 최적의 성능을 보인다.
• 효과적인 확률적 노이즈는 (1−p)σ²에 의해 지배되며, 이는 섞음으로 인해 노이즈가 섞이지 않은 부분에 비례해 감소함을 시사한다.
• 경험적 결과는 합성 데이터 섞기가 확률적 노이즈와 함수 비유사성을 모두 감소시키며, 이는 이론적 예측과 일치함을 확인한다.
• DDPM 기반 생성기는 GAN 기반 대비 더 높은 품질의 합성 데이터를 생성하여 피어드 학습 수렴을 향상시키는 데 더 우수한 성능을 보였다.