[논문 리뷰] Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning

Dahua Yu, Huishuai Zhang외 2명|arXiv (Cornell University)|2021. 02. 25.

Privacy-Preserving Technologies in Data참고 문헌 58인용 수 28

한 줄 요약

GEP는 프라이빗 그래디언트를 비민감한 앵커 서브스페이스에 임베딩하고 저차원 임베딩과 잔차를 각각 분리하여 잡음으로 교란함으로써 DP 하에서 gradient perturbation의 차원수를 줄이고, 이를 통해 딥 모델에서 더 높은 정확도를 달성한다.

ABSTRACT

The privacy leakage of the model about the training data can be bounded in the differential privacy mechanism. However, for meaningful privacy parameters, a differentially private model degrades the utility drastically when the model comprises a large number of trainable parameters. In this paper, we propose an algorithm \emph{Gradient Embedding Perturbation (GEP)} towards training differentially private deep models with decent accuracy. Specifically, in each gradient descent step, GEP first projects individual private gradient into a non-sensitive anchor subspace, producing a low-dimensional gradient embedding and a small-norm residual gradient. Then, GEP perturbs the low-dimensional embedding and the residual gradient separately according to the privacy budget. Such a decomposition permits a small perturbation variance, which greatly helps to break the dimensional barrier of private learning. With GEP, we achieve decent accuracy with reasonable computational cost and modest privacy guarantee for deep models. Especially, with privacy bound $ε=8$, we achieve $74.9\%$ test accuracy on CIFAR10 and $95.1\%$ test accuracy on SVHN, significantly improving over existing results.

연구 동기 및 목표

• DP의 실용적 프라이버시 예산에서 고차원 딥 모델의 유용도 손실의 도전을 동기화한다.
• 그래디언트의 차원 축소를 통해 유용성을 개선하기 위한 Gradient Embedding Perturbation (GEP) 제안.
• GEP에 대한 이론적 DP 보장을 제공하고 잔차 그래디언트 동작을 분석한다.
• MNIST, SVHN, CIFAR-10에서 기준과 비교하여 DP 학습 성능을 실증적으로 보여준다.

제안 방법

• 앵커 그래디언트의 주성분을 포워 메서드를 통해 포착하기 위해 비민감 보조 데이터로부터 앵커 서브스페이스를 구성한다.
• 프라이빗 그래디언트를 앵커 서브스페이스로 투영하여 저차원 임베딩과 잔차 그래디언트를 얻는다.
• DP를 달성하기 위해 그래디언트 임베딩과 잔차 그래디언트를 각각 가우시안 노이즈로 교란하고 결합될 때 편향 없는 그래디언트 추정기를 보장한다.
• Rényi DP를 사용한 DP 분석을 제공하고 이를 (ε, δ)-DP로 변환한다; 민감도 S1, S2를 통제하기 위해 그래디언트 클리핑을 사용한다.
• 딥 모델의 유용성을 개선하기 위해 계산을 줄이기 위해 그룹별 기반을 구현하고 이중 단계의 노이즈 추가를 사용한다.

실험 결과

연구 질문

• RQ1 DP 그래디언트 교란에서 고차원 모델의 효과적 잡음 에너지를 어떻게 줄일 수 있는가?
• RQ2 저차원 그래디언트 임베딩과 잔차 구성요소가 딥 네트워크의 정확한 프라이버시 학습을 가능하게 하는가?
• RQ3 GEP를 일반적인 비전 데이터셋에서 사용할 때 DP 보장 및 실용적 한계는 무엇인가?
• RQ4 GEP는 같은 프라이버시 예산 하에서 벤치마크 데이터셋에서 GP(표준 DP-SGD) 및 PATE와 어떻게 비교되는가?

주요 결과

• GEP는 MNIST, SVHN, CIFAR-10에서 여러 프라이버시 예산에 대해 DP 그래디언트 교란 기본(Base)보다 상당한 정확도 향상을 달성한다.
• ε=8에서 CIFAR-10에 대해 GEP는 74.9% 테스트 정확도에 도달하여 GP보다 약 18.5% 포인트 크게 앞선다.
• SVHN의 경우 GEP는 ε=8에서 최대 95.1%의 테스트 정확도를 달성하며 GP보다 약 3.5% 포인트 앞선다.
• MNIST의 경우 GEP는 ε=8에서 최대 98.4%의 테스트 정확도를 달성하며 GP보다 약 1.2% 포인트 앞선다.
• 이 벤치마크들에서 GEP는 특히 CIFAR-10 같이 더 복잡한 데이터셋에서 PATE에 비해 경쟁력 있거나 우수한 성능을 보인다.