[논문 리뷰] GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators

Dingfan Chen, Tribhuvanesh Orekondy외 1명|arXiv (Cornell University)|2020. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 30

한 줄 요약

GS-WGAN은 Wasserstein 목적 하에서 생성기 그래디언트를 선택적으로 위생 처리하여 DP GAN을 훈련시키며 중앙 집중식 및 연합 설정에서 고차원 데이터 생성을 개선한다.

ABSTRACT

The wide-spread availability of rich data has fueled the growth of machine learning applications in numerous domains. However, growth in domains with highly-sensitive data (e.g., medical) is largely hindered as the private nature of data prohibits it from being shared. To this end, we propose Gradient-sanitized Wasserstein Generative Adversarial Networks (GS-WGAN), which allows releasing a sanitized form of the sensitive data with rigorous privacy guarantees. In contrast to prior work, our approach is able to distort gradient information more precisely, and thereby enabling training deeper models which generate more informative samples. Moreover, our formulation naturally allows for training GANs in both centralized and federated (i.e., decentralized) data scenarios. Through extensive experiments, we find our approach consistently outperforms state-of-the-art approaches across multiple metrics (e.g., sample quality) and datasets.

연구 동기 및 목표

• 고차원 데이터의 프라이버시 보호 데이터 공개에 대한 동기를 제시한다.
• 생성기 그래디언트를 선택적으로 위생 처리하는 그래디언트 위생 DP-GAN(GS-WGAN)을 제안한다.
• 그래디언트 민감도를 한정하고 유용성을 개선하기 위해 그래디언트 패널티가 있는 Wasserstein 손실을 활용한다.
• provable DP 보장을 갖춘 연합 학습으로 GS-WGAN을 확장한다.

제안 방법

• 생성기 매개변수에 선택적으로 적용된 DP-SGD 유사 그래디언트 위생 처리를 사용한다.
• 판별자를 Lipschitz하게 유지하기 위해 그래디언트 패널티가 있는 Wasserstein GAN 목적을 채택한다.
• 정보 손실을 최소화하기 위해 체인 규칙을 활용하며 생성기 상류 그래디언트에 클리핑과 노이즈를 추가한다.
• 사후 처리와 부분 샘플링을 활용하여 프라이버시를 증폭시키고 연합 설정에서 사용자 수준 DP를 가능하게 한다.
• 연합과 유사한 설정에서 서로 다른 부분 집합에 대해 다수의 판별기를 학습하여 프라이버시 비용을 줄인다.

실험 결과

연구 질문

• RQ1 생성기만의 선택적 그래디언트 위생 처리가 GAN에서 전체 DP-SGD보다 더 나은 유용성을 낳을 수 있는가?
• RQ2 그래디언트 패널티가 있는 Wasserstein 목적이 그래디언트 노름을 안정시켜 프라이버시 예산을 용이하게 하는가?
• RQ3 GS-WGAN이 Provable DP 보장을 갖춘 연합적, 분산 데이터 설정에서 효과적으로 적용될 수 있는가?
• RQ4 부분 샘플링이 DP GAN 훈련에서 프라이버시-유용성 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• GS-WGAN은 MNIST와 Fashion-MNIST에서 최신 DP GAN 기준선보다 샘플 품질이 더 우수하며(IS 개선 및 FID 감소).
• 그래디언트 패널티가 있는 Wasserstein 목적은 그래디언트 노름을 한정시키고 잘리는 비용의 유용성 손실을 줄인다.
• 생성기 매개변수에 대한 선택적 위생 처리가 프라이버시 훈련을 가능하게 하며 하위 작업 성능이 경쟁력 있거나 우수하다.
• 연합 GS-WGAN은 Fed-Avg GAN에 비해 프라이버시 비용이 낮고 통신 비용이 감소한 상태에서 DP 보장을 제공한다.
• 부분 샘플링 및 워밍 스타트 전략은 프라이버시-유용성 트레이드오프와 노이즈에 대한 강인성을 추가로 개선한다.