[논문 리뷰] Differentially Private Empirical Risk Minimization: Efficient Algorithms and Tight Error Bounds

Raef Bassily, Adam Smith외 1명|arXiv (Cornell University)|2014. 05. 27.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 60

한 줄 요약

이 논문은 최소한의 가정—리프시츠 손실 함수와 유계 최적화 도메인—하에 볼록 경험 위험 최소화(ERM)를 위한 효율적인 비밀 보장 알고리즘을 제시한다. 최적의 초과 위험 한계를 달성하며, $(\epsilon,0)$- 및 $(\epsilon,\delta)$-비밀 보장에 대해 각각 최적의 기법을 도입한다. 첫 번째는 지수 표본 추출을 사용하고, 두 번째는 국소화된 경사하강법에 기반한다. 이 알고리즘들은 다항 시간 내에 실행되며, 일부 경우에서 비민감한 오라클 복잡도와 일치한다.

ABSTRACT

In this paper, we initiate a systematic investigation of differentially private algorithms for convex empirical risk minimization. Various instantiations of this problem have been studied before. We provide new algorithms and matching lower bounds for private ERM assuming only that each data point's contribution to the loss function is Lipschitz bounded and that the domain of optimization is bounded. We provide a separate set of algorithms and matching lower bounds for the setting in which the loss functions are known to also be strongly convex. Our algorithms run in polynomial time, and in some cases even match the optimal non-private running time (as measured by oracle complexity). We give separate algorithms (and lower bounds) for $(ε,0)$- and $(ε,δ)$-differential privacy; perhaps surprisingly, the techniques used for designing optimal algorithms in the two cases are completely different. Our lower bounds apply even to very simple, smooth function families, such as linear and quadratic functions. This implies that algorithms from previous work can be used to obtain optimal error rates, under the additional assumption that the contributions of each data point to the loss function is smooth. We show that simple approaches to smoothing arbitrary loss functions (in order to apply previous techniques) do not yield optimal error rates. In particular, optimal algorithms were not previously known for problems such as training support vector machines and the high-dimensional median.

연구 동기 및 목표

• 리프시츠 손실과 유계 도메인이라는 최소한의 가정 하에 효율적인 비밀 보장 볼록 ERM 알고리즘을 개발하는 것.
• $(\epsilon,0)$- 및 $(\epsilon,\delta)$-비밀 보장에 대해 초과 위험에 대한 매칭되는 하한을 확립하는 것.
• 최적의 초과 위험을 달성하면서도 다항 시간 복잡도를 유지하는 알고리즘을 설계하는 것. 일부 경우에서 비민감한 방법의 오라클 복잡도와 일치한다.
• 기존의 부드럽게 하는 기법이 실패하는 비연속 문제들—예를 들어 SVM과 고차원 중앙값—에 대해 최적 오차율의 격차를 해소하는 것.

제안 방법

• $(\epsilon,\delta)$-비밀 보장에 대해, 볼록 체적에서의 표본 추출을 제곱체로의 표본 추출로 줄이기 위해 페널티 항을 포함한 국소화된 경사하강법을 사용한다. 이는 효율적인 로그-볼록 표본 추출을 가능하게 한다.
• $(\epsilon,0)$-비밀 보장에 대해, 효율적인 로그-볼록 표본 추출을 통한 지수 기법의 구현을 사용한다. 이는 손실 함수를 스케일링하여 비밀 보장을 보장한다.
• 알고리즘은 볼록 집합 위에서 로그-볼록 분포에서의 효율적 표본 추출에 기반하며, 최근의 등방성 변환과 마르코프 체인 몬테카를로 방법의 발전을 활용한다.
• 비밀 보장은 진짜와 근사 표본 분포 사이의 거리 기준을 통해 확립되며, 감도 파rameter를 조정한 지수 기법의 변종을 사용한다.
• 손실 함수는 $\frac{\epsilon}{6L\|\mathcal{C}\|_2}$로 스케일링되어 $\epsilon$-비밀 보장을 보장하며, 출력은 $\exp\left(-\frac{\epsilon}{6L\|\mathcal{C}\|_2}\mathcal{L}(\theta;\mathcal{D})\right)$ 비례 분포에서 표본 추출된다.
• 방법은 등방성 위치로의 환원을 포함하며, 페널티 함수를 사용해 볼록성을 유지하고 효율적 표본 추출을 보장한다.

실험 결과

연구 질문

• RQ1 리프시츠 및 유계 도메인 가정 하에, 비밀 보장 볼록 ERM에서 달성 가능한 최적의 초과 위험은 무엇인가?
• RQ2 $(\epsilon,0)$- 및 $(\epsilon,\delta)$-비밀 보장에 대해, 매칭되는 하한을 갖는 효율적인 다항 시간 알고리즘을 설계할 수 있는가?
• RQ3 왜 표준 부드럽게 하는 기법은 허프 손실이나 중앙값과 같은 비연속 손실 함수에서 최적 오차율을 달성하지 못하는가?
• RQ4 효율적인 로그-볼록 표본 추출을 어떻게 활용해 최적의 비밀 보장 ERM 알고리즘을 설계할 수 있는가?
• RQ5 비밀 보장, 유틸리티, 계산 효율성 간의 기본적인 상충 관계는 무엇인가?

주요 결과

• 논문은 리프시츠 및 강볼록 설정 모두에서 초과 위험에 대해 매칭되는 하한을 확립하여, 제안된 알고리즘이 정보 이론적으로 최적임을 보였다.
• $(\epsilon,\delta)$-비밀 보장에 대해, 알고리즘은 초과 위험 $O\left(\frac{L^2 \|\mathcal{C}\|_2^2 \log p}{n\epsilon}\right)$을 달성하며, 일부 경우에서 비민감한 오라클 복잡도와 일치한다.
• $(\epsilon,0)$-비밀 보장에 대해, 알고리즘은 지수 표본 추출과 효율적인 로그-볼록 표본 추출을 사용해 초과 위험 $O\left(\frac{L^2 \|\mathcal{C}\|_2^2 \log p}{n\epsilon}\right)$을 달성한다.
• 논문은 비연속 손실 함수의 단순한 부드럽게 하는 것이 최적 오차율을 도출하지 못함을 증명하며, SVM 및 고차원 중앙값 문제에 대해 이전 접근법의 무효성을 입증한다.
• 제안된 알고리즘은 다항 시간 내에 실행되며, 허프 손실이나 $\ell_1$-중앙값과 같은 비연속, 비강볼록 손실에 대해서도 최적의 초과 위험을 달성한다.
• 결과적으로, 이전 알고리즘이 부드러움 가정에 의존하므로 일반 리프시츠 볼록 ERM에 대해 최적 오차율을 달성하는 데 직접 적용될 수 없다는 것을 시사한다.