[논문 리뷰] Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising

Milad Nasr, Reza Shokri외 1명|arXiv (Cornell University)|2020. 07. 22.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 22

한 줄 요약

이 논문은 차별적 프라이버시를 갖춘 딥러닝 모델 훈련을 위한 새로운 프레임워크를 제안하며, 프라이버시-유용성 트레이드오프를 크게 향상시킨다. 기울기를 유한한 벡터 공간에 인코딩하고, 맞춤형 노이즈 분포(예: 스튜던트-t 분포)를 적용함으로써 더 엄밀한 프라이버시 경계를 확보하고 정확도를 향상시킨다. 또한, 프라이버시를 해치지 않는 한도에서 노이즈가 포함된 기울기를 재조정하는 후처리 디노이징 단계를 통해 유용성을 더욱 향상시켜, DPSGD 대비 47% 낮은 프라이버시 예산(ε=3.2 대비 ε=6)을 달성하면서도 MNIST에서 96.1%의 정확도를 유지한다.

ABSTRACT

Deep learning models leak significant amounts of information about their training datasets. Previous work has investigated training models with differential privacy (DP) guarantees through adding DP noise to the gradients. However, such solutions (specifically, DPSGD), result in large degradations in the accuracy of the trained models. In this paper, we aim at training deep learning models with DP guarantees while preserving model accuracy much better than previous works. Our key technique is to encode gradients to map them to a smaller vector space, therefore enabling us to obtain DP guarantees for different noise distributions. This allows us to investigate and choose noise distributions that best preserve model accuracy for a target privacy budget. We also take advantage of the post-processing property of differential privacy by introducing the idea of denoising, which further improves the utility of the trained models without degrading their DP guarantees. We show that our mechanism outperforms the state-of-the-art DPSGD; for instance, for the same model accuracy of $96.1\%$ on MNIST, our technique results in a privacy bound of $ε=3.2$ compared to $ε=6$ of DPSGD, which is a significant improvement.

연구 동기 및 목표

• 소음 주입으로 인한 정확도 저하로 인해 기존의 차별적 프라이버시 딥러닝 방법에 큰 제약이 존재하는 문제를 해결한다.
• 딥러닝에서 임의의 노이즈 분포에 대한 프라이버시 경계를 유도하는 데 어려움이 있음을 해결하기 위해, 기울기 인코딩을 통해 수치적 추정이 가능하도록 한다.
• 후처리 디노이징 메커니즘을 도입하여 신호 대 노이즈 비율을 향상시킴으로써 프라이버시 보장을 약화시키지 않고 모델의 유용성을 향상시킨다.
• 기존의 가우시안 노이즈 외의 대안적 노이즈 분포(예: 스튜던트-t 분포)가 DP 훈련에서 더 나은 프라이버시-유용성 트레이드오프를 제공할 수 있음을 보여준다.
• 노이즈 분포 최적화 및 기울기 처리를 통해 벤치마크 데이터셋(MNIST, CIFAR-10)에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 사전에 선택된 기준 벡터(Ψ)를 사용해 기울기를 유한한 차원의 벡터 공간에 인코딩함으로써, 레니 지수 차별적 프라이버시(RDP) 경계의 수치 계산을 가능하게 한다.
• 이웃 데이터셋에서 인코딩된 기울기의 분포 간 레니 발산을 계산함으로써 프라이버시 경계를 산정하며, 비가우시안 노이즈 분포의 사용도 가능하게 한다.
• 다양한 노이즈 분포(가우시안, 라플라스, 스튜던트-t)를 인코딩된 기울기에 적용하고, 주어진 프라이버시 예산에서 유용성 손실를 최소화하는 분포를 선별한다.
• 기울기의 크기와 방향에 따라 프라이빗화된 기울기를 재조정하는 디노이징 메커니즘을 도입하여, 원래의 DP 보장을 유지하면서도 신호 유지 능력을 향상시킨다. 이는 후처리 성질에 기반한다.
• 적응형 노이즈 스케일링과 기울기 집계를 활용하여 훈련 중 모델 수렴과 정확도를 유지한다.
• RDP의 적응형 복합성 성질을 활용해 다중 훈련 단계 동안의 총 프라이버시 예산을 제한한다.

실험 결과

연구 질문

• RQ1 기울기 인코딩을 통해 비가우시안 노이즈 분포를 사용할 수 있는지, 동시에 공식적인 프라이버시 보장을 제공할 수 있는가?
• RQ2 기본 기울기에 적용했을 때, 어떤 노이즈 분포(예: 가우시안, 라플라스, 스튜던트-t)가 가장 우수한 프라이버시-유용성 트레이드오프를 제공하는가?
• RQ3 후처리 디노이징은 프라이버시 보장을 약화시키지 않으면서 모델 유용성을 얼마나 향상시킬 수 있는가?
• RQ4 기울기 인코딩과 디노이징의 조합은 표준 DPSGD 대비 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 표준 벤치마크에서 DPSGD와 같은 최신 기술 수준의 방법보다 더 낮은 프라이버시 예산(ε)으로 더 높은 모델 정확도를 달성할 수 있는가?

주요 결과

• MNIST에서 동일한 모델 정확도 96.1%를 확보한 경우, 제안된 방법은 δ=10⁻⁵일 때 ε=3.2의 프라이버시 예산을 달성했고, DPSGD는 ε=6을 기록하여 프라이버시 泄露가 47% 감소했다.
• 스튜던트-t 노이즈 분포를 사용할 경우, 기존의 가우시안 또는 라플라스 분포보다 프라이빗화된 기울기와 원본 기울기 간의 L1 오차가 더 낮아, 기울기 정보의 보존 정도가 뛰어나다.
• 디노이징 메커니즘은 초기 훈련 반복에서 모델 정확도를 최대 10% 향상시켜 수렴 속도를 가속화하고 목표 정확도에 도달하는 데 필요한 반복 수를 줄였다.
• MNIST에서 제안된 프레임워크는 DPSGD보다 더 빠른 수렴 속도를 보였다: 유사한 노이즈 파rameter 조건에서 10,000회 이하의 반복 안에 96% 정확도에 도달했고, DPSGD는 15,000회 이상이 소요되었다.
• CIFAR-10에서 제안된 방법은 동일한 프라이버시 예산 조건에서 DPSGD보다 더 높은 테스트 정확도를 확보하여, 다양한 데이터셋에 대한 강건성을 입증했다.
• 기울기 인코딩과 디노이징의 조합은 더 효율적인 노이즈 분포 사용을 가능하게 하여, 총 프라이버시 예산을 감소시키면서도 모델 유용성을 유지하거나 향상시켰다.