[논문 리뷰] On the Privacy Properties of GAN-generated Samples

Zinan Lin, Vyas Sekar외 1명|arXiv (Cornell University)|2022. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 5

한 줄 요약

이 논문은 표준 GAN으로 생성된 샘플이 일반화 성질 덕분에 약한 미분적 비밀유지 및 멤버십 유추 공격에 대한 강건성을 내재적으로 만족함을 보여준다. 약간의 가정 하에 생성된 샘플은 $\delta = O(n/m)$를 갖는 $(\epsilon, \delta)$-미분적 비밀유지를 달성하며, 멤버십 유추 공격 성공률(ROC 곡선 아래 면적, AUC로 측정)은 $O(m^{-1/4})$로 감소하여 더 큰 훈련 세트에서 향상된다.

ABSTRACT

The privacy implications of generative adversarial networks (GANs) are a topic of great interest, leading to several recent algorithms for training GANs with privacy guarantees. By drawing connections to the generalization properties of GANs, we prove that under some assumptions, GAN-generated samples inherently satisfy some (weak) privacy guarantees. First, we show that if a GAN is trained on m samples and used to generate n samples, the generated samples are (epsilon, delta)-differentially-private for (epsilon, delta) pairs where delta scales as O(n/m). We show that under some special conditions, this upper bound is tight. Next, we study the robustness of GAN-generated samples to membership inference attacks. We model membership inference as a hypothesis test in which the adversary must determine whether a given sample was drawn from the training dataset or from the underlying data distribution. We show that this adversary can achieve an area under the ROC curve that scales no better than O(m^{-1/4}).

연구 동기 및 목표

• 표준적인 훈련 기법 없이도 GAN으로 생성된 샘플이 내재적으로 비밀유지 보장을 제공하는지 조사하는 것.
• m개의 데이터 포인트로 훈련된 표준 GAN이 생성하는 n개의 샘플의 미분적 비밀유지 성질을 분석하는 것.
• 가장 악성인 공격자 가정 조건 하에서 GAN으로 생성된 샘플의 멤버십 유추 공격에 대한 강건성을 평가하는 것.
• 일반화 이론에 기반하여, 미분적 비밀유지와 멤버십 유추에 대한 이론적 경계를 설정하는 것.
• GAN에서 생성된 합성 데이터를 모델 파rameter를 공개하는 대안으로서 비밀유지 가능한 방식으로 배포할 수 있는지 탐색하는 것.

제안 방법

• 이론적 분석을 통해 적분 확률 거리와 KL 발산을 이용해 GAN의 일반화 경계와 비밀유지 보장을 연결한다.
• 실제 분포와 생성 분포 간의 TV 거리와 생성기의 일반화 오차를 연결하여, 미분적 비밀유지 경계를 유도한다.
• Pinsker의 부등식을 적용하여 KL 발산을 사용해 총 변동 거리를 상한으로 제시하고, 이를 비밀유지 파라미터와 연결한다.
• 멤버십 유추를 가설 검정으로 모델링하고 기하학적 및 농도론적 추론을 통해 ROC 곡선 아래 면적(AUC)의 상한을 유도한다.
• 이론적 취급 가능성을 확보하기 위해 생성기 및 판별기 함수 클래스에 관한 이전 연구의 가정을 적용한다.
• 임의의 생성 모델에 대해 멤버십 유추 공격의 ROC 영역에 대한 날카로운 경계를 도출하기 위해 기하학적 증명을 사용한다.

실험 결과

연구 질문

• RQ1 미분적 비밀유지 없이 훈련된 표준 GAN이 생성한 샘플이 여전히 내재적인 미분적 비밀유지를 제공하는가?
• RQ2 생성 샘플의 비밀유지 보장이 훈련 세트 크기 $m$과 생성 샘플 수 $n$에 따라 어떻게 스케일링되는가?
• RQ3 공격자가 생성기의 무한한 액세스 권한을 가진다 해도, GAN으로 생성된 샘플은 멤버십 유추 공격에 얼마나 강건한가?
• RQ4 멤버십 유추 공격의 성공률을 공격 전략과 무관하게 상한으로 제시할 수 있으며, 만약 가능하다면 $m$에 따라 얼마나 빠르게 감소하는가?
• RQ5 GAN으로 생성된 샘플의 비밀유지 보장이 실용적 사용에 충분한가, 아니면 DP-SGD와 같은 추가적인 기법이 필요한가?

주요 결과

• GAN으로 생성된 샘플은 $\delta = O(n/m)$를 갖는 $(\epsilon, \delta)$-미분적 비밀유지를 만족하며, 더 많은 샘플을 생성할수록 비밀성이 떨어짐을 나타낸다.
• n=1일 때 $O(n/m)$의 $\delta$ 비율은 날카로운 경계이며, 표준 가정 하에 이 경계를 향상시킬 수 없음을 보여준다.
• 멤버십 유추 공격의 경우, ROC 곡선 아래 면적(AUC)은 $O(m^{-1/4})$로 상한이 제시되며, 이는 훈련 데이터가 증가할수록 공격 성공률이 감소함을 의미한다.
• 공격자가 생성기의 무한한 액세스 권한을 가진 가장 악성의 시나리오에서도 멤버십 유추 공격에 대한 강건성이 유지됨을 보여준다.
• 이론적 경계는 생성기 및 판별기 함수 클래스에 대한 가정에 의존하며, 이는 모든 GAN 아키텍처에 대해 성립하지 않을 수 있다.
• 결과적으로 GAN은 내재적인 비밀유지를 제공하지만, 추가적인 비밀유지 훈련 방법이 없이 실용적 배포에는 너무 약하다.