[논문 리뷰] Differentially Private Sliced Wasserstein Distance

Alain Rakotomamonjy, Liva Ralaivola|arXiv (Cornell University)|2021. 07. 05.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 Sliced Wasserstein Distance (SWD)의 차별적 비공식적 변형을 제안한다. SWD에 내재된 랜덤 프로젝션 과정에 가우시안 메커니즘을 적용하여, 새로운 거리인 Smoothed Sliced Wasserstein Distance (GS-WSD)를 도출한다. 이 방법은 $(\varepsilon,\delta)$-차별적 비공식성 보장을 확보하면서도 SWD의 거리성 및 확장성 특성을 유지하여, 정확도 저하를 최소화하면서 생성 모델 및 도메인 적응 시스템의 개인정보 보호 학습을 가능하게 한다.

ABSTRACT

Developing machine learning methods that are privacy preserving is today a central topic of research, with huge practical impacts. Among the numerous ways to address privacy-preserving learning, we here take the perspective of computing the divergences between distributions under the Differential Privacy (DP) framework -- being able to compute divergences between distributions is pivotal for many machine learning problems, such as learning generative models or domain adaptation problems. Instead of resorting to the popular gradient-based sanitization method for DP, we tackle the problem at its roots by focusing on the Sliced Wasserstein Distance and seamlessly making it differentially private. Our main contribution is as follows: we analyze the property of adding a Gaussian perturbation to the intrinsic randomized mechanism of the Sliced Wasserstein Distance, and we establish the sensitivityof the resulting differentially private mechanism. One of our important findings is that this DP mechanism transforms the Sliced Wasserstein distance into another distance, that we call the Smoothed Sliced Wasserstein Distance. This new differentially private distribution distance can be plugged into generative models and domain adaptation algorithms in a transparent way, and we empirically show that it yields highly competitive performance compared with gradient-based DP approaches from the literature, with almost no loss in accuracy for the domain adaptation problems that we consider.

연구 동기 및 목표

• Sliced Wasserstein Distance (SWD)의 확장성과 거리성 특성을 유지하는 차별적 비공식적 분포 거리 개발
• SWD의 랜덤 프로젝션 과정에 가우시안 메커니즘을 적용한 경우의 비공식성 보장 분석
• 해당 메커니즘이 새로운 거리인 Smoothed Sliced Wasserstein Distance를 생성하며, 이 거리가 핵심 거리 성질을 그대로 이어받는지 확인
• 기존 기계학습 알고리즘(예: 생성 모델 및 도메인 적응 프레임워크)에 이 비공식적 거리를 원활하게 통합할 수 있도록 구현
• 낮은 차원 및 높은 차원 데이터셋(예: $64 \times 64$ RGB CelebA 포함)에서의 실험적 검증을 통한 비공식성 예산이 엄격한 환경 하에서의 성능 검증

제안 방법

• Sliced Wasserstein Distance의 랜덤 프로젝션 행렬 $\mathbf{U}$ 에 대해 가우시안 메커니즘을 적용하여, 투영된 데이터 $\mathbf{X}\mathbf{U}$ 에 평균 0인 가우시안 노이즈 $\mathbf{V}$ 를 추가
• 해당 결과로 도출된 차별적 비공식적 메커니즘을 DP-SWD로 정의하며, 기존 SWD를 보정된 형태로 변환하여 가우시안 보정된 Sliced Wasserstein Distance (GS-WSD) 라고 명명
• 중앙극한정리(Central Limit Theorem, CLT)와 버진스 부등식(Bernstein inequality) 근사를 사용하여, 가우시안 메커니즘 하에서 투영된 데이터의 민감도를 경계함으로써 비공식성 보장 수립
• 더 날카운 민감도 추정을 위해 CLT 기반 경계를 사용하고, 더 보수적인 차원 독립적 제어를 위해 버진스 부등식 기반 경계를 활용
• 기존의 MMD나 SWD와 같은 표준 산란 측도 대신, 생성 대립 네트워크(GANs) 및 도메인 적응 모델에 DP-SWD 손실를 통합하여 비공식성 보장된 대안 제공
• PyTorch 비공식성 패키지를 사용하여 노이즈 분산 $\sigma$ 를 校정하여, 대규모 데이터셋에서 목표 비공식성 예산 $\varepsilon = 10$, $\delta = 10^{-5}$ 또는 $10^{-6}$ 달성

실험 결과

연구 질문

• RQ1 Sliced Wasserstein Distance의 랜덤 프로젝션 단계에 가우시안 메커니즘을 적용하여 차별적 비공식성을 확보하면서도 기능성을 손상시키지 않을 수 있는가?
• RQ2 해당 차별적 비공식적 메커니즘의 민감도는 무엇이며, 고차원 환경에서 어떻게 경계할 수 있는가?
• RQ3 결과로 도출된 비공식적 거리가 진정한 거리의 성질을 유지하는가? 기존 기계학습 알고리즘에서 즉시 대체 가능한가?
• RQ4 생성 모델링 및 도메인 적응 과제에서 DP-SWD의 성능은 기울기 기반 DP 방법과 비교해 어떻게 되는가?
• RQ5 DP-SWD는 $64 \times 64$ RGB CelebA와 같은 고차원 실세계 데이터셋에 효과적으로 스케일링될 수 있는가?

주요 결과

• MNIST 및 FashionMNIST에서 DP-SWD는 $\varepsilon = 10$, $\delta = 10^{-5}$ 조건에서 $(\varepsilon,\delta)$-차별적 비공식성을 확보하며, 도메인 적응 과제에서 정확도 저하가 최소화됨
• MNIST 및 FashionMNIST에서 DP-SWD는 $\varepsilon=10$, $\delta=10^{-5}$ 조건에서 각각 78% 및 66%의 테스트 정확도를 기록하며, DP-CGAN 및 DP-MERF를 능가함
• MNIST에서의 생성 모델링 과제에서 DP-SWD는 버진스 부등식 기반 경계를 사용할 경우 Fréchet Inception Distance (FID) 점수 97을 기록함. 반면 CLT 기반 경계를 사용할 경우 158 점수 기록
• $64 \times 64$ RGB CelebA 데이터셋에서 DP-SWD는 $\varepsilon=10$, $\delta=10^{-6}$ 조건에서 FID 점수 97을 기록함(비교 기준 CLT 기반 158 점수). 이는 이 데이터셋에서 첫 번째 성공적인 DP 생성 모델 기록임
• 제안된 방법은 약 ~18만 파라미터로 GAN의 비공식적 학습을 가능하게 하여 10분 이내에 경쟁 가능한 성능 달성. 반면 GS-WGAN는 약 ~400만 파라미터와 수 시간의 학습 소요
• DP-SWD 메커니즘은 SWD를 새로운 거리인 가우시안 보정된 Sliced Wasserstein Distance로 변환하며, 이 거리는 거리 성질을 그대로 이어받고 기존 기계학습 파이프라인에 즉시 통합 가능함