[논문 리뷰] When Relaxations Go Bad: "Differentially-Private" Machine Learning.

Bargav Jayaraman, David Evans|arXiv (Cornell University)|2019. 02. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 이론적 프라이버시 보장과 차등적 프라이버시 기계 학습에서의 실질적 프라이버시 泄露 사이의 괴리를 조사하며, 일반적으로 사용되는 큰 프라이버시 예산($\epsilon$)과 고도의 메커니즘에도 불구하고 강력한 이론적 경계에도 불구하고 실질적인 프라이버시 보호는 약한 것으로 드러남을 보여준다. 로지스틱 회귀와 신경망에 대한 실험은 상한 프라이버시 보장과 추론 공격를 통해 측정된 실제 프라이버시 손실 사이에 막대한 격차가 있음을 드러내며, 현재의 방법이 유효성과 의미 있는 프라이버시를 균형 있게 유지하지 못함을 입증한다.

ABSTRACT

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, $\epsilon$, about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of $\epsilon$ in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models. Code for the experiments can be found here: this https URL

연구 동기 및 목표

• 이론적 보장을 바탕으로 하되, 실질적 프라이버시 보호에 영향을 미치는 큰 프라이버시 예산($\\epsilon$)의 실질적 영향을 조사하기 위해.
• 복잡한 모델을 위한 반복 학습 절차에서 고급 차등적 프라이버시 메커니즘의 효과성을 평가하기 위해.
• 추론 공격를 통해 실제 프라이버시 손실을 정량화하고, 이와 이론적 상한 경계를 대조하기 위해.
• 로지스틱 회귀와 신경망 환경에서 모델 유효성과 의미 있는 프라이버시 사이의 트레이드오프를 평가하기 위해.
• 현재의 구현 방식이 종종 수용 가능한 유효성과 강력한 프라이버시를 동시에 제공하지 못함을 입증하기 위해.

제안 방법

• 저자는 표준 차등적 프라이버시 최적화 기법을 사용하여 로지스틱 회귀 및 신경망 모델에서 실험을 수행한다.
• 반복적 학습을 위한 프라이버시 예산 추정을 정밀화하기 위해 모멘츠 애카운터와 같은 고급 프라이버시 메커니즘을 적용한다.
• 실제 프라이버시 손실을 측정하기 위해 추론 공격를 사용하며, 공격자가 훈련 데이터에 대해 복구할 수 있는 정보의 정도를 추정한다.
• 다양한 $\epsilon$ 값에서 이론적 프라이버시 경계($\epsilon$)와 실증적으로 측정된 프라이버시 손실을 비교한다.
• 모델의 유효성-프라이버시 트레이드오프를 평가하기 위해 $\epsilon$를 체계적으로 변화시킨다.
• 재현 가능성을 확보하기 위해 코드를 포함하여 프라이버시 평가 파이프라인의 복제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 프라이버시 예산 $\epsilon$의 선택이 차등적 프라이버시 기계 학습 모델에서 실제 프라이버시 泄露에 어떤 영향을 미치는가?
• RQ2 고급 프라이버시 메커니즘이 이론적 경계에 비해 효과적인 프라이버시 손실을 얼마나 줄이는가?
• RQ3 추론 공격는 이론적 상한 경계와 비교하여 실질적 프라이버시 손실을 어떻게 측정하는가?
• RQ4 차등적 프라이버시 로지스틱 회귀와 신경망에서 유효성-프라이버시 트레이드오프는 어떠한가?
• RQ5 현재의 차등적 프라이버시 학습 방법은 강력한 프라이버시 보장을 제공할 수 있는가, 동시에 수용 가능한 모델 유효성도 확보할 수 있는가?

주요 결과

• 고급 메커니즘을 사용하더라도 이론적 프라이버시 경계와 실제 추론 공격를 통한 프라이버시 손실 사이에 상당한 격차가 존재한다.
• 강력한 이론적 프라이버시 보장을 보장하는 설정은 사용 불가능한 유효성을 가진 모델을 초래하는 반면, 고도의 유효성 설정은 의미 없는 프라이버시 보호를 제공한다.
• 실제로 널리 사용되는 큰 $\epsilon$ 값은 공식적인 보장을 바탕으로 하더라도 최소한의 프라이버시 보호를 제공한다.
• 모멘츠 애카운터와 같은 고급 메커니즘은 이론적 프라이버시 예산을 줄이지만, 실제 프라이버시 泄露의 의미 있는 감소로 이어지지 않는다.
• 추론 공격는 이론적 $\epsilon$ 경계가 시사하는 것보다 더 많은 정보를 지속적으로 복구하며, 이는 현재의 구현 방식이 프라이버시 보호를 과대평가하고 있음을 시사한다.
• 이 연구는 현재의 차등적 프라이버시 기계 학습 방법이 복잡한 학습 작업에서 유효성-프라이버시 균형을 이루지 못함을 입증한다.