[논문 리뷰] FedGAN: Federated Generative Adversarial Networks for Distributed Data

Mohammad Rasouli, Tao Sun외 1명|arXiv (Cornell University)|2020. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 29

한 줄 요약

FedGAN은 중개자를 통해 로컬 생성기와 판별기를 동기화함으로써 비독립 동일분포(Non-IID), 개인정보 제약 조건이 있는 데이터 소스 간에 통신 효율적인 분산 생성 적대적 네트워크를 훈련시키는 방법을 제안한다. 이 방법은 동일 시간 척도 및 두 시간 척도 업데이트 모두에서 수렴성을 확보하며, 중앙집중식 GAN 성능을 재현하면서도 통신 오버헤드를 감소시킨다. 이는 MNIST, CIFAR-10, CelebA 및 시계열 에너지 데이터셋에서 검증되었다.

ABSTRACT

We propose Federated Generative Adversarial Network (FedGAN) for training a GAN across distributed sources of non-independent-and-identically-distributed data sources subject to communication and privacy constraints. Our algorithm uses local generators and discriminators which are periodically synced via an intermediary that averages and broadcasts the generator and discriminator parameters. We theoretically prove the convergence of FedGAN with both equal and two time-scale updates of generator and discriminator, under standard assumptions, using stochastic approximations and communication efficient stochastic gradient descents. We experiment FedGAN on toy examples (2D system, mixed Gaussian, and Swiss role), image datasets (MNIST, CIFAR-10, and CelebA), and time series datasets (household electricity consumption and electric vehicle charging sessions). We show FedGAN converges and has similar performance to general distributed GAN, while reduces communication complexity. We also show its robustness to reduced communications.

연구 동기 및 목표

• 엄격한 개인정보 보호 및 통신 제약 조건 하에서 분산된 비독립 동일분포 데이터 소스에서 정확한 GAN을 훈련시키는 데 도전하는 것.
• 클라이언트와 중앙 서버 간의 데이터 교환을 최소화하여 분산 GAN 훈련의 통신 복잡도를 감소시키는 것.
• 데이터 이질성과 제한된 통신 조건에도 불구하고 피드포워드 설정에서 GAN 훈련 과정의 수렴성을 보장하는 것.
• 에너지 시스템과 같은 시계열 및 개인정보 민감도가 높은 데이터를 포함한 분야에서 GAN 응용을 피드포워드 학습 환경으로 확장하는 것.
• 기존의 빈번한 파rameter 교환을 요구하는 분산 GAN에 비해 이론적으로 기반을 두고 통신 효율적인 대안을 제공하는 것.

제안 방법

• FedGAN은 각 데이터 소스에 로컬 생성기와 판별기를 구현하여 로컬 데이터에서 독립적으로 훈련한 후 주기적으로 동기화한다.
• 중개 서버는 정기적으로 모든 클라이언트에 대해 평균화된 글로벌 생성기 및 판별기 파라미터를 집계하고 방송한다.
• 표준 가정 하에 수렴성을 보장하기 위해 확률적 근사와 통신 효율적인 확률적 경사 하강법(SGD)을 사용한다.
• 두 가지 업데이트 방식을 분석한다: 동일 시간 척도 업데이트와 두 시간 척도 업데이트(TTUR), 양측 모두 비독립 동일분포 데이터 하에서 수렴성이 입증되었다.
• 원자료를 중앙 집중적으로 모아서는 안 되므로, 피드포워드 학습 원칙을 활용하여 데이터 프라이버시를 보존한다.
• MNIST, CIFAR-10, CelebA 및 시계열 데이터에서 성능을 최적화하기 위해 각 데이터셋에 맞게 하이퍼파ram터를 조정한다(예: 학습률, 배치 크기, 네트워크 아키텍처).

실험 결과

연구 질문

• RQ1 제한된 통신 조건 하에서 비독립 동일분포 데이터를 가진 분산 클라이언트 간에 훈련할 때, 피드포워드 GAN 프레임워크가 수렴할 수 있는가?
• RQ2 FedGAN의 통신 효율성은 중앙집중식 또는 빈번한 동기화가 필요한 분산 GAN과 비교해 어떻게 되는가?
• RQ3 통신 빈도를 감소시켰을 때 FedGAN은 생성 품질과 훈련 안정성을 어느 정도 유지하는가?
• RQ4 이론적 수렴 보장이 비독립 동일분포 환경에서 동일 시간 척도 및 두 시간 척도 업데이트 규칙 모두에 대해 성립하는가?
• RQ5 FedGAN은 이미지 및 시계열 데이터를 포함한 다양한 데이터 유형에 대해 개인정보 제약 조건 하에서도 효과적으로 적용될 수 있는가?

주요 결과

• FedGAN은 동일 시간 척도 및 두 시간 척도 업데이트 규칙 모두에서 수렴성을 확보하며, 확률적 근사와 통신 효율적인 SGD를 기반으로 이론적 증명이 존재한다.
• MNIST, CIFAR-10 및 CelebA에서 FedGAN은 드물게 통신을 하더라도 중앙집중식 GAN과 유사한 수준의 생성 샘플 품질을 달성한다.
• 가정 전기 및 전기차 충전 데이터와 같은 시계열 실험에서는 비독립 동일분포 데이터 분포 조건에서도 복잡한 시간적 패턴을 효과적으로 학습한다.
• FedGAN은 통신 빈도를 낮추는 데에도 강건하며, 동기화 간격 K=10에서 K=3000 사이에서도 안정적인 훈련과 고품질 생성을 유지한다.
• 기존의 클라이언트와 중앙 서버 간에 빈번한 파라미터 교환을 요구하는 분산 GAN에 비해 통신 복잡도를 크게 감소시킨다.
• 실험 결과, 단일 중앙 생성기를 사용하는 베이스라인 분산 GAN에 비해 FedGAN은 통신 효율성과 수렴 안정성 측면에서 뛰어난 성능을 보였다.