[논문 리뷰] FedSyn: Synthetic Data Generation using Federated Learning

Monik Raj Behera, Sudhir K. Upadhyay외 4명|arXiv (Cornell University)|2022. 03. 11.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

FedSyn은 원시 데이터를 공유하지 않고 생성적 적대 기반 네트워크(GANs)를 사용하여 고성능의 합성 데이터를 생성하는 프라이버시 보장형 분산 학습 프레임워크를 제안한다. 차별적 프라이버시를 적용한 국소적으로 훈련된 모델들의 분산 평균을 통해 글로벌 GAN 생성자 모델을 훈련시킴으로써, 기관 간에 협업적인 합성 데이터 생성이 가능해지며, 데이터 프라이버시를 유지하면서 데이터 편향을 줄일 수 있다.

ABSTRACT

As Deep Learning algorithms continue to evolve and become more sophisticated, they require massive datasets for model training and efficacy of models. Some of those data requirements can be met with the help of existing datasets within the organizations. Current Machine Learning practices can be leveraged to generate synthetic data from an existing dataset. Further, it is well established that diversity in generated synthetic data relies on (and is perhaps limited by) statistical properties of available dataset within a single organization or entity. The more diverse an existing dataset is, the more expressive and generic synthetic data can be. However, given the scarcity of underlying data, it is challenging to collate big data in one organization. The diverse, non-overlapping dataset across distinct organizations provides an opportunity for them to contribute their limited distinct data to a larger pool that can be leveraged to further synthesize. Unfortunately, this raises data privacy concerns that some institutions may not be comfortable with. This paper proposes a novel approach to generate synthetic data - FedSyn. FedSyn is a collaborative, privacy preserving approach to generate synthetic data among multiple participants in a federated and collaborative network. FedSyn creates a synthetic data generation model, which can generate synthetic data consisting of statistical distribution of almost all the participants in the network. FedSyn does not require access to the data of an individual participant, hence protecting the privacy of participant's data. The proposed technique in this paper leverages federated machine learning and generative adversarial network (GAN) as neural network architecture for synthetic data generation. The proposed method can be extended to many machine learning problem classes in finance, health, governance, technology and many more.

연구 동기 및 목표

• 원천 데이터를 공유하지 않고도 다수 기관 간 협업적인 합성 데이터 생성을 통해 기계 학습에서의 데이터 부족 문제를 해결한다.
• 분산 학습을 통해 다양한 비독립 동일 분포(non-IID) 데이터 소스에서 온 모델을 집계하여 데이터 편향을 완화한다.
• 개별 참가자의 데이터에 직접 접근을 방지하고 모델 파라미터 공유에 차별적 프라이버시를 적용하여 데이터 프라이버시를 확보한다.
• 참가자 간 분산된 이질적 데이터셋을 활용하여 합성 데이터의 일반화 능력과 통계적 표현력을 향상시킨다.
• 금융, 헬스케어, 정부 분야 등 다수 산업 분야에 응용 가능하도록 안전하고 확장 가능한 합성 데이터 생성 프레임워크를 제공한다.

제안 방법

• 원천 데이터를 공유하지 않고도 다수 클라이언트 간에 글로벌 GAN 생성자를 훈련하기 위해 분산 학습을 사용한다. 오직 모델 파라미터만 교환된다.
• 각 클라이언트는 자신의 비공개 데이터로 국소 GAN 생성자를 훈련하고, 중앙 서버는 FedAvg 또는 유사한 집계 알고리즘을 사용해 모델 업데이트를 집계한다.
• 모델 파라미터를 집계하기 전에 라플라스 노이즈를 추가하여 차별적 프라이버시를 적용함으로써 개인 데이터의 프라이버시를 보호한다.
• 생성자와 판별자 네트워크는 상호 적대적으로 훈련되며, 생성자는 실제 데이터와 구분되지 않는 합성 샘플을 생성하도록 학습된다.
• 클라이언트 간에 비독립 동일 분포(non-IID) 데이터 분포를 지원함으로써 데이터 이질성에 대한 강건성을 향상시킨다.
• 수렴 후 글로벌 합성 데이터가 생성되며, 모든 기여한 참여자의 통계 분포를 반영한다.

실험 결과

연구 질문

• RQ1 분산 학습과 기반 GAN의 합성 데이터 생성을 효과적으로 융합하여 데이터 프라이버시를 유지하면서 데이터 다양성을 향상시킬 수 있는가?
• RQ2 모델 파라미터에 차별적 프라이버시를 적용할 경우, 생성된 합성 데이터의 품질과 유용성에 어떤 영향을 미치는가?
• RQ3 다수 기관 간 비독립 동일 분포, 이질적인 데이터에서 학습할 때 FedSyn이 데이터 편향을 어느 정도 완화할 수 있는가?
• RQ4 어느 참가자로부터도 원천 데이터에 접근하지 않고도 FedSyn이 고해상도 합성 데이터를 생성할 수 있는가?
• RQ5 차별적 프라이버시에서 노이즈 수준이 프라이버시와 합성 데이터 품질 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• FedSyn은 참가 클라이언트의 원천 데이터에 접근하지 않으면서도 모든 참여자의 통계 분포를 반영한 합성 데이터를 성공적으로 생성하였다.
• 차별적 프라이버시 노이즈 수준이 증가할수록 합성 데이터의 품질이 떨어지며, 이는 프라이버시와 유용성 간의 트레이드오프를 시사한다.
• 비독립 동일 분포(non-IID) 데이터에서 분산 학습을 통해 글로벌 생성자는 개별 클라이언트가 불균형한 데이터를 가질 경우에도 모든 레이블을 대표하는 샘플을 생성할 수 있었다.
• 이 프레임워크는 원천 데이터 공유 없이도 프라이버시 보장형 협업 환경에서 합성 데이터 생성이 가능하며, 중앙 집중식 데이터 수집에 대한 의존도를 감소시킴을 입증하였다.
• 기관 간에 분산된 데이터에서 학습할 경우, 분산 학습을 통해 집계된 모델이 중심 집합 학습 모델보다 다양한 데이터 패턴을 더 잘 포착하는 것으로 나타났다.
• 모델 파라미터 수준에서 차별적 프라이버시를 통합함으로써 데이터 공유 없이도 강력한 프라이버시 보장을 확보하였다.