[논문 리뷰] Scalable Differentially Private Generative Student Model via PATE.

Yunhui Long, Suxin Lin외 3명|arXiv (Cornell University)|2019. 06. 21.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 18

한 줄 요약

이 논문은 강력한 프라이버시 보장을 제공하면서도 공개되는 생성기만에 적용되는 스케일러블한 차별적 프라이버시를 갖춘 생성 모델인 G-PATE를 제안한다. G-PATE는 앙상블된 프라이버시 보장 교사 분류기들을 사용해 학생 생성기를 훈련시키며, 이 과정에서 프라이버시 보장을 강화한다. 프라이버시 보장 기반의 기울기 집약을 통해 교사로부터 지식을 흡수함으로써, G-PATE는 이미지 및 표본 데이터셋 모두에서 최신 기술 수준의 성능을 달성하면서도 높은 데이터 유용성을 유지한다.

ABSTRACT

Recent rapid development of machine learning is largely due to algorithmic breakthroughs, computation resource development, and especially the access to a large amount of training data. However, though data sharing has the great potential of improving machine learning models and enabling new applications, there have been increasing concerns about the privacy implications of data collection. In this work, we present a novel approach for training differentially private data generator G-PATE. The generator can be used to produce synthetic datasets with strong privacy guarantee while preserving high data utility. Our approach leverages generative adversarial nets (GAN) to generate data and protect data privacy based on the Private Aggregation of Teacher Ensembles (PATE) framework. Our approach improves the use of privacy budget by only ensuring differential privacy for the generator, which is the part of the model that actually needs to be published for private data generation. To achieve this, we connect a student generator with an ensemble of teacher discriminators. We also propose a private gradient aggregation mechanism to ensure differential privacy on all the information that flows from the teacher discriminators to the student generator. We empirically show that the G-PATE significantly outperforms prior work on both image and non-image datasets.

연구 동기 및 목표

• 대규모 데이터 수집 및 공유로 인한 기계학습 분야의 증가하는 프라이버시 우려를 해결하기 위해.
• 강력한 프라이버시 보장을 유지하면서도 높은 데이터 유용성을 확보하는 합성 데이터셋 생성 방법을 개발하기 위해.
• 전체 모델이 아닌 공개되는 생성기만에 차별적 프라이버시를 적용함으로써 불필요한 프라이버시 예산 소비를 줄이기 위해.
• GAN과 PATE 프레임워크를 활용해 프라이버시 보장 생성 모델의 스케일링 및 실용적 구현을 가능하게 하기 위해.
• 기존 연구를 향상시키기 위해 프라이버시 보호를 생성기로 집중함으로써, 데이터 생성을 위해 유일하게 공개되는 구성 요소에 초점을 맞추기 위해.

제안 방법

• 실제 데이터에 대해 각기 다른 프라이버시 보장 기반으로 훈련된 교사 분류기 앙상블을 훈련하여 훈련 데이터를 보호한다.
• 지식 흡수를 통해 교사 분류기들이 학생 생성기를 지도함으로써 생성기가 합성 데이터를 생성하도록 학습시킨다.
• 교사에서 학생 생성기로 전달되는 기울기 정보에 대해 프라이버시 보장 기반 기울기 집약 메커니즘을 적용하여 차별적 프라이버시 보장을 확보한다.
• 학생 생성기를 현실적인 합성 샘플을 생성할 수 있도록 생성적 적대적 네트워크(GANs)를 활용해 훈련시킨다.
• 교사에서 학생으로의 정보 흐름에만 차별적 프라이버시 보장을 적용함으로써 생성기의 훈련 과정과 프라이버시 보호를 분리한다.
• 최종적으로 공개되는 생성기 모델에만 차별적 프라이버시를 적용함으로써 프라이버시 예산 사용을 최적화한다.

실험 결과

연구 질문

• RQ1 이미지 및 비이미지 데이터셋 모두에 대해 강력한 프라이버시 보장을 유지하면서도 높은 데이터 유용성을 확보할 수 있는 생성 모델을 훈련시킬 수 있는가?
• RQ2 불필요한 프라이버시 비용을 최소화하기 위해 프라이버시 보장 기반의 적용을 공개되는 생성기로만 제한할 수 있는가?
• RQ3 프라이버시 보장 기반 기울기 집약이 GAN 기반 데이터 생성에서 프라이버시-유용성 트레이드오프를 얼마나 향상시키는가?
• RQ4 PATE 프레임워크는 학생 생성기와 교사 분류기 기반의 설정을 활용해 프라이버시 보장 생성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ5 성능 및 프라이버시 효율성 측면에서 G-PATE는 이전의 프라이버시 보장 생성 모델보다 어떻게 비교되는가?

주요 결과

• G-PATE는 이미지 및 비이미지 데이터셋 모두에서 기존 연구 대비 높은 데이터 유용성과 강력한 프라이버시 보장을 확보하며 뛰어난 성능을 보였다.
• 기밀성 보장 교사 분류기들로부터 효과적으로 지식을 흡수함으로써 고품질의 합성 데이터 생성을 달성했다.
• 프라이버시 보장 기반 기울기 집약을 통해 교사에서 학생 생성기로 흐르는 모든 정보에 대해 차별적 프라이버시 보장을 확보했다.
• 생성기만에 차별적 프라이버시를 적용함으로써 G-PATE는 프라이버시 예산 사용을 최적화하고 비공개 구성 요소에 대한 과도한 보호를 방지했다.
• 이러한 접근은 다양한 데이터 유형(이미지 및 표본 데이터 포함)에 걸쳐 스케일링 가능하며 강력한 일반화 성능을 보였다.
• 실험 결과는 G-PATE가 차별적 프라이버시를 통해 공식적인 프라이버시 보장을 제공하면서도 높은 데이터 유용성을 유지함을 확인했다.