[논문 리뷰] Evaluating Differentially Private Machine Learning in Practice

Bargav Jayaraman, David Evans|arXiv (Cornell University)|2019. 02. 24.

Privacy-Preserving Technologies in Data참고 문헌 80인용 수 85

한 줄 요약

이 연구는 그래디언트 노이즈를 포함한 ML에서 차등 프라이버시 변형들(AC, zCDP, RDP)을 실증적으로 평가하고, 로지스틱 회귀와 신경망에 걸친 멤버십 추론 및 속성 추론 공격을 통해 실제 프라이버시 누수를 측정합니다.

ABSTRACT

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, $ε$, about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of $ε$ in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models. Code for the experiments can be found here: https://github.com/bargavj/EvaluatingDPML

연구 동기 및 목표

• 다른 epsilon 설정이 DP ML에서 프라이버시-유용성 트레이드오프에 어떤 영향을 미치는지 평가합니다.
• 고급 합성(advanced composition), zCDP, RDP가 실제 누적 프라이버시 손실에 어떤 영향을 주는지 비교합니다.
• 멤버십 추론 공격 및 속성 추론 공격을 통해 실제 프라이버시 누수를 정량화합니다.
• 로지스틱 회귀와 신경망에서의 DP ML 구현을 평가하여 실무적 위험을 식별합니다.

제안 방법

• 차등 프라이버시의 정의와 변형들(AC, zCDP, RDP) 및 이들의 이론적 합성 속성을 검토합니다.
• ML의 DP 메커니즘으로 그래디언트 노이즈를 중심으로, 민감도 제약을 위한 그래디언트 클리핑을 사용합니다.
• 다양한 DP 개념 아래 누적 프라이버시 손실을 한도화하기 위해 moments accountant/동등한 분석을 사용합니다.
• DL(딥러닝) 및 LR(로지스틱 회귀) 모델에서 멤버십 추론 및 속성 추론 공격을 사용하여 프라이버시 누수를 실증적으로 평가합니다.
• ERM 기반 학습 작업 및 비볼록형 딥러닝 설정에 DP 메커니즘을 적용하여 유용성에 미치는 영향을 연구합니다.

실험 결과

연구 질문

• RQ1 다른 epsilon 값과 DP 변형들(AC, zCDP, RDP)이 DP ML에서의 프라이버시-유용성 트레이드오프에 어떤 영향을 미치나요?
• RQ2 형식적 DP 보장이 실제 공격을 통해 관찰되는 프라이버시 누수와의 실용적 차이는 무엇인가요?
• RQ3 로지스틱 회귀와 신경망에 적용했을 때 누수 측면에서 DP 변형들이 어떤 성능을 보이나요?
• RQ4 더 엄격한 합성 분석이 실제 ML 작업에서 의미 있는 프라이버시 보호로 이어지나요?

주요 결과

• DP 변형이 보장하는 상한과 알려진 공격으로 관찰할 수 있는 실제 누수 사이에는 큰 간극이 있다.
• 허용 가능한 유용성 수준에서 형식적 보장은 사용된 DP 변형과 무관하게 사실상 의미가 없다.
• 멤버십 및 속성 추론 공격으로 관찰된 누수는 누수에 취약한 설정에서도 상대적으로 낮다.
• epsilon에 대한 민감도는 DP 변형에 따라 다르며, 유용성과 누수 간의 트레이드오프는 작업 및 모델에 따라 달라진다.
• 그래디언트 노이즈 삽입과 클리핑은 딥러닝에서의 DP에 실용적이지만, 합성은 다수의 반복에서 프라이버시 예산을 증가시킨다.