[논문 리뷰] Differentially Private Empirical Risk Minimization

Kamalika Chaudhuri, Claire Monteleoni외 1명|arXiv (Cornell University)|2009. 12. 01.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 544

한 줄 요약

이 논문은 기계 학습에서 경험적 리스크 최소화(Empirical Risk Minimization, ERM)를 위한 새로운 비밀성 보장 방법인 목적 함수 편향(Objective Perturbation)을 제안한다. 이 방법은 최적화 이전에 목적 함수에 노이즈를 추가함으로써, 기존의 출력 편향 기반 방법에 비해 더 나은 비밀성-유용성 트레이드오프를 달성한다. 특히 정규화된 로지스틱 회귀와 서포트 벡터 머신(SVM)에서 뛰어난 성능을 보이며, 이론적 보장과 실제 데이터셋에 대한 실증적 검증을 통해 입증된다.

ABSTRACT

Privacy-preserving machine learning algorithms are crucial for the increasingly common setting in which personal data, such as medical or financial records, are analyzed. We provide general techniques to produce privacy-preserving approximations of classifiers learned via (regularized) empirical risk minimization (ERM). These algorithms are private under the $ε$-differential privacy definition due to Dwork et al. (2006). First we apply the output perturbation ideas of Dwork et al. (2006), to ERM classification. Then we propose a new method, objective perturbation, for privacy-preserving machine learning algorithm design. This method entails perturbing the objective function before optimizing over classifiers. If the loss and regularizer satisfy certain convexity and differentiability criteria, we prove theoretical results showing that our algorithms preserve privacy, and provide generalization bounds for linear and nonlinear kernels. We further present a privacy-preserving technique for tuning the parameters in general machine learning algorithms, thereby providing end-to-end privacy guarantees for the training process. We apply these results to produce privacy-preserving analogues of regularized logistic regression and support vector machines. We obtain encouraging results from evaluating their performance on real demographic and benchmark data sets. Our results show that both theoretically and empirically, objective perturbation is superior to the previous state-of-the-art, output perturbation, in managing the inherent tradeoff between privacy and learning performance.

연구 동기 및 목표

• 민감한 데이터에 대해 $ε$-차별적 비밀성 보장이 보장되는 프라이버시 보존 기계 학습 알고리즘을 개발한다.
• 기존의 출력 편향 기반 방법이 비밀성과 모델 유용성의 균형을 이루는 데 한계를 보이는 문제를 해결한다.
• 최적화 이전에 손실 함수와 정규화 함수를 편향시키는 새로운 방법인 목적 함수 편향을 설계한다.
• 기계 학습 파이프라인에서 하이퍼파rameter 튜닝까지 포함된 종단 간 비밀성 보장을 제공한다.
• 이론과 실증적으로 모두 기존의 출력 편향 대비 목적 함수 편향의 뛰어난 성능을 입증한다.

제안 방법

• 최적화 이전에 정규화된 ERM 목적 함수에 노이즈를 추가하는 목적 함수 편향을 제안한다.
• 이론적 보장을 위해 손실 함수와 정규화 함수가 미분 가능하고, 정규화 함수가 강凸(Strongly Convex)이어야 한다.
• 개별 데이터 포인트에 대한 목적 함수의 민감도에 기반해 노이즈 스케일링을 적용한다.
• 출력에 대해 $ε$-차별적 비밀성을 보장하기 위해 랜덤라이즈드 리스폰스 메커니즘을 사용한다.
• 최적화 단계에서 노이즈를 최소화함으로써, 최적화 이후에 노이즈를 추가하는 것보다 비밀성-유용성 트레이드오프를 개선한다.
• 비선형 커널으로의 확장을 위해 커널 근사 기법(예: Rahimi와 Recht, 2008b)을 활용한다.

실험 결과

연구 질문

• RQ1 비밀성 보장 ERM 알고리즘을 설계할 수 있을까? 이는 기존의 출력 편향 기반 방법에 비해 유용성 측면에서 뛰어나야 한다.
• RQ2 손실 함수와 정규화 함수에 어떤 조건이 충족되어야 목적 함수 편향이 비밀성을 유지하면서도 양호한 일반화 성능 유지를 할 수 있는가?
• RQ3 분류 정확도와 비밀성 예산 측면에서 실증적으로 목적 함수 편향이 출력 편향보다 어떻게 비교되는가?
• RQ4 목적 함수 편향을 비선형 커널 방법으로 확장할 수 있을까? 이 경우 통계적 효율성은 유지되는가?
• RQ5 목적 함수 편향을 적용한 비밀성 보장 ERM의 일반화 오차에 대한 이론적 한계는 무엇인가?

주요 결과

• 정규화 함수가 강凸일 경우, 동일한 비밀성 예산 하에서 목적 함수 편향이 출력 편향보다 더 나은 일반화 경계를 달성한다.
• 이론적 분석 결과, 손실 함수와 정규화 함수가 미분 가능하고 볼록 조건을 만족할 경우 목적 함수 편향이 $ε$-차별적 비밀성을 제공함을 보여준다.
• 인구 통계 및 기준 데이터셋에 대한 실증 결과에서 목적 함수 편향이 출력 편향보다 분류 정확도에서 뛰어난 성능을 보였다.
• 비선형 커널의 경우, 랜덤 특징을 통한 선형화에 의존하나, 이는 통계적으로 비효율적일 수 있으나 충분한 데이터가 존재할 경우 여전히 효과적이다.
• 학습 파이프라인 전반에 동일한 비밀성 메커니즘을 적용함으로써 하이퍼파rameter 튜닝까지 포함된 종단 간 비밀성 보장을 제공한다.
• 논문은 $L_1$-정규화된 ERM를 한계로 지적하며, 목적 함수 편향이 강凸성이 없어 적용되지 않기 때문에 여전히 열린 문제로 남아 있다.