[논문 리뷰] Generating Differentially Private Datasets Using GANs

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|2018. 02. 15.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 30

한 줄 요약

이 논문은 훈련 중에 판별기의 입력에 가우시안 노이즈를 주입하여, 작은 비밀 보장 예산(privacy budget) 하에 강력한 비밀 보장 보장을 제공하면서도 실제 데이터의 통계적 특성을 유지하는 고품질의 합성 데이터셋을 생성할 수 있도록, GAN 기반의 방법을 제안한다.

ABSTRACT

In this paper, we present a technique for generating artificial datasets that retain statistical properties of the real data while providing differential privacy guarantees with respect to this data. We include a Gaussian noise layer in the discriminator of a generative adversarial network to make the output and the gradients differentially private with respect to the training data, and then use the generator component to synthesise privacy-preserving artificial dataset. Our experiments show that under a reasonably small privacy budget we are able to generate data of high quality and successfully train machine learning models on this artificial data.

연구 동기 및 목표

• 실제 데이터의 통계적 특성을 유지하면서도 차별적 비밀 보장을 보장하는 합성 데이터셋을 생성하는 방법을 개발하는 것.
• 개인 정보가 포함된 데이터에 대해 훈련하는 생성 모델이 개별 데이터 포인트를 폭 lộ하지 않도록 하는 도전에 대응하는 것.
• 특히 판별기에서 차별적 비밀 보장을 직접 통합하여 훈련 데이터를 보호하는 GAN 훈련 과정에 통합하는 것.
• 비밀 보장 합성 데이터가 효과적인 후속 기계 학습 작업을 지원할 수 있는지 평가하는 것.

제안 방법

• GAN의 판별기에 가우시안 노이즈 레이어를 삽입하여, 훈련 데이터에 대해 출력과 기울기가 차별적 비밀 보장이 되도록 한다.
• 생성기는 차별적 비밀 보장 판별기를 속이도록 합성 데이터를 생성하도록 훈련된다.
• 노이즈 주입은 모델의 파라미터와 출력이 개별 데이터 포인트의 변화에 대해 강건하게 만들며, 이는 차별적 비밀 보장을 만족시킨다.
• 비밀 보장 예산(에프실론)은 가우시안 레이어의 노이즈 스케일을 조정하여 제어된다.
• 훈련 과정은 생성기와 차별적 비밀 보장 판별기 간에 번갈아가며 업데이트한다.
• 최종 생성기는 원본 데이터의 통계적 특성을 유지하는 합성 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 GAN을 수정하여 고품질이면서도 차별적 비밀 보장이 보장되는 합성 데이터셋을 생성할 수 있는가?
• RQ2 판별기에 노이즈를 주입하는 것이 생성된 데이터의 품질과 유용성에 어떤 영향을 미치는가?
• RQ3 비밀 보장 예산(에프실론)과 합성 데이터의 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 합성 데이터로 훈련된 기계 학습 모델이 실제 데이터로 훈련된 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 기존의 차별적 비밀 보장 데이터 생성 기법과 비교해 어떻게 다른가?

주요 결과

• 제안된 방법은 작은 비밀 보장 예산 하에 원본 데이터의 통계적 특성을 유지하는 합성 데이터셋을 성공적으로 생성하였다.
• 강력한 비밀 보장 보장 하에서도 생성된 데이터의 품질이 높아, 후속 모델의 성능을 통해 이를 입증하였다.
• 합성 데이터로 훈련된 기계 학습 모델이 실제 데이터로 훈련된 모델과 유사한 성능을 달성하였다.
• 노이즈 주입을 통해 판별기에서의 모델 파라미터와 출력에 대해 종단 간 차별적 비밀 보장을 제공하였다.
• 실제 데이터셋에 대해 효과적으로 스케일링되며, 비밀 보장과 데이터 유용성을 유지하였다.