[논문 리뷰] Training Federated GANs with Theoretical Guarantees: A Universal Aggregation Approach

Yikai Zhang, Hui Qu외 4명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 7

한 줄 요약

이 논문은 이질적인 로컬 데이터 분포의 혼합을 증명 가능하게 학습할 수 있는 새로운 피어드 GAN 프레임워크인 Universal Aggregation GAN (UA-GAN)을 제안한다. 이는 로컬 판별기의 오즈 값 기반 집계를 통해 이루어지며, 이로 인해 중앙집중식 판별기의 시뮬레이션을 통해 이론적으로 목표 혼합 분포로 수렴함을 보장한다. 비독립 동일 분포(non-i.i.d.) 및 불균형 데이터셋에서 기존 방법보다 FID 및 IS 점수 측면에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recently, Generative Adversarial Networks (GANs) have demonstrated their potential in federated learning, i.e., learning a centralized model from data privately hosted by multiple sites. A federatedGAN jointly trains a centralized generator and multiple private discriminators hosted at different sites. A major theoretical challenge for the federated GAN is the heterogeneity of the local data distributions. Traditional approaches cannot guarantee to learn the target distribution, which isa mixture of the highly different local distributions. This paper tackles this theoretical challenge, and for the first time, provides a provably correct framework for federated GAN. We propose a new approach called Universal Aggregation, which simulates a centralized discriminator via carefully aggregating the mixture of all private discriminators. We prove that a generator trained with this simulated centralized discriminator can learn the desired target distribution. Through synthetic and real datasets, we show that our method can learn the mixture of largely different distributions where existing federated GAN methods fail.

연구 동기 및 목표

• 로컬 데이터 분포가 다양한 사이트 간에 매우 이질적일 때 피어드 GAN을 훈련하는 데 도전하는 것.
• Avg-GAN 및 MD-GAN과 같은 기존 방법들이 후행 확률 평균화로 인해 편향된 생성기를 생성하는 데 실패하는 문제를 해결하는 것.
• 로컬 판별기가 최적화되지 않은 경우에도 생성기가 진정한 로컬 분포 혼합을 학습할 수 있도록 이론적으로 타당한 프레임워크를 개발하는 것.
• 오즈 값과 젠슨-쇼넬리 분산(Jensen-Shannon divergence)을 사용하여 최적화되지 않은 판별기 하에서 GAN 훈련의 새로운 이론적 분석을 제공하는 것.

제안 방법

• 후행 확률 대신 오즈 값 기반으로 로컬 판별기의 기울기를 집계하는 유니버설 집계 메커니즘을 제안하는 것.
• 모든 로컬 데이터 소스의 혼합 분포의 오즈 비율을 근사함으로써 중앙집중식 판별기를 시뮬레이션하는 것.
• 오즈 기반 피드백을 사용해 글로벌 생성기를 훈련함으로써 공통 패턴에 편향되지 않고 목표 혼합 분포를 학습하도록 보장하는 것.
• 지역 판별기의 오즈 값에 기반한 젠슨-쇼넬리 분산 손실 이론적 프레임워크를 도입하여 근사 오차를 제한하는 것.
• 생성기의 근사 오차가 최적화되지 않은 판별기 성능에 따라 선형적으로 악화되며, 이에 대한 날카로운 경계를 증명하는 것.
• 클라이언트와 서버 간에 원시 데이터 대신 기울기만 교환하는 탈중앙화된 훈련 파이프라인으로 구현하는 것.

실험 결과

연구 질문

• RQ1 로컬 판별기가 이질적인 데이터에서 훈련된 경우, 비독립 동일 분포(non-i.i.i.d.) 로컬 데이터 분포 혼합을 증명 가능하게 학습할 수 있는 피어드 GAN 프레임워크가 존재하는가?
• RQ2 예측 대신 오즈 값을 기반으로 로컬 판별기를 집계할 경우, 더 정확하고 편향 없는 생성기가 도출되는가?
• RQ3 최적화되지 않은 로컬 판별기 성능이 피어드 GAN에서 생성 샘플의 품질에 어떤 영향을 미치는가?
• RQ4 실제로 최적화되지 않은 조건에서 생성기 근사 오차에 대한 이론적 경계를 유도하고, 이 경계가 날카로운지 확인할 수 있는가?
• RQ5 비독립 동일 분포(non-i.i.d.) 및 불균형 데이터셋에서 기존 피어드 GAN 기준선(Avg-GAN, MD-GAN)과 비교해 FID, IS, 분류 정확도 측면에서 UA-GAN의 성능은 어떠한가?

주요 결과

• 50개의 사이트에서 구성된 비독립 동일 분포(non-i.i.d.) MNIST+Fashion에서 UA-GAN은 Fréchet Inception Distance(FID) 53.26을 기록했으며, 이는 Avg-GAN(90.36) 및 MD-GAN(89.36)보다 유의미하게 낮아 더 뛰어난 샘플 품질을 의미한다.
• 동일한 설정에서 UA-GAN은 후행 분류기에서 62.6%의 정확도를 기록했으며, 이는 Avg-GAN(48.9%) 및 MD-GAN(46.5%)을 크게 앞서며 더 나은 특징 학습 능력을 보여준다.
• 불균형 비독립 동일 분포(non-i.i.d.) MNIST+Fashion에서 UA-GAN은 FID 30.30과 정확도 84.6%를 기록했으며, Avg-GAN(FID: 74.45, 정확도: 49.7%) 및 MD-GAN(FID: 85.61, 정확도: 44.3%)을 모두 압도했다.
• 무조건적 설정에서 UA-GAN은 비독립 동일 분포(non-i.i.d.) MNIST+Fashion에서 IS 3.280 ± 0.022 및 FID 22.34를 기록했으며, MD-GAN(IS: 2.852, FID: 60.34) 및 Avg-GAN(IS: 4.068, FID: 61.56)을 모두 뛰어넘었다.
• 이론적 분석 결과, 생성기 근사 오차는 로컬 판별기의 최적화되지 않은 정도에 따라 선형적으로 증가하며, 이 경계는 날카로워 프레임워크의 강건성을 검증한다.
• 실증 결과는 UA-GAN이 모든 설정에서 더 다양하고 현실적인 샘플을 생성함을 확인했으며, 특히 기존 방법이 실패하는 비독립 동일 분포 및 불균형 상황에서 뚜렷한 우수성을 보였다.