[논문 리뷰] Learning in a Large Function Space: Privacy-Preserving Mechanisms for SVM Learning

Benjamin I. P. Rubinstein, Peter L. Bartlett외 2명|ArXiv.org|2009. 11. 30.

Privacy-Preserving Technologies in Data인용 수 51

한 줄 요약

이 논문은 무한차원 커널을 사용하는 큰 함수 공간에서 지지벡터기계(SVM) 학습을 위한 효율적이고 차별적 비밀보장 메커니즘을 제안한다. 무한차원 커널이라도 유한한 인코딩이 가능하도록 랜덤 재생핵힐버트공간(RKHS)을 사용한다. 정규화된 경험리스크최소화의 부드러움을 통해 높은 확률로 점별 유용성을 확보하고, 알고리즘 안정성을 통해 차별적 비밀보장을 입증한다. 또한, 작은 비밀보장 파rameter를 가진 경우 높은 정확도의 SVM 메커니즘이 강력한 비밀보장을 달성할 수 없음을 보여주는 하한선을 유도한다.

ABSTRACT

Several recent studies in privacy-preserving learning have considered the trade-off between utility or risk and the level of differential privacy guaranteed by mechanisms for statistical query processing. In this paper we study this trade-off in private Support Vector Machine (SVM) learning. We present two efficient mechanisms, one for the case of finite-dimensional feature mappings and one for potentially infinite-dimensional feature mappings with translation-invariant kernels. For the case of translation-invariant kernels, the proposed mechanism minimizes regularized empirical risk in a random Reproducing Kernel Hilbert Space whose kernel uniformly approximates the desired kernel with high probability. This technique, borrowed from large-scale learning, allows the mechanism to respond with a finite encoding of the classifier, even when the function class is of infinite VC dimension. Differential privacy is established using a proof technique from algorithmic stability. Utility--the mechanism's response function is pointwise epsilon-close to non-private SVM with probability 1-delta--is proven by appealing to the smoothness of regularized empirical risk minimization with respect to small perturbations to the feature mapping. We conclude with a lower bound on the optimal differential privacy of the SVM. This negative result states that for any delta, no mechanism can be simultaneously (epsilon,delta)-useful and beta-differentially private for small epsilon and small beta.

연구 동기 및 목표

• 큰 또는 무한차원 함수 공간에서의 SVM 학습에서 유용성과 차별적 비밀보장을 동시에 확보하는 데 도전한다.
• 최대 마진 분류기들을 효율적이고 실용적으로 비밀보장하면서도 높은 정확도를 유지하는 메커니즘을 개발한다.
• 이동 불변 커널을 가진 SVM의 맥락에서 차별적 비밀보장과 유용성에 대한 이론적 보장을 수립한다.
• 힌지손실 SVM에 대해 최적의 차별적 비밀보장에 대한 상한과 하한을 도출하여, 비밀보장-정확도 트레이드오프의 본질적 한계를 드러낸다.
• 복잡한 함수 공간을 가진 학습 알고리즘에서 비밀보장을 증명하는 데서 알고리즘 안정성의 역할을 탐색한다.

제안 방법

• 목표 커널을 푸리에 도메인으로 매핑하고 랜덤 특징을 샘플링하여, 고확률로 원래 커널을 균일하게 근사하는 랜덤 RKHS를 구성한다.
• 랜덤 RKHS에서 정규화된 경험리스크최소화(RERM)를 수행하여, 유한차원이면서 비밀보장된 분류기 표현을 확보한다.
• RERM의 알고리즘 안정성을 통해 차별적 비밀보장을 입증하며, 훈련 데이터의 미세한 변화가 분류기 함수에 미치는 영향이 작음을 보여준다.
• 커널 편향 하에서 RERM의 부드러움을 활용하여, RERM 응답이 높은 확률(1−δ)로 비사용자 SVM 분류기와 점별 ϵ-근접함을 증명함으로써 유용성을 확립한다.
• 이웃하는 데이터베이스 집합에 대한 패킹 추론을 통해 최적의 차별적 비밀보장에 대한 하한선을 도출하며, 높은 유용성은 작은 β에 대해 제한된 비밀보장을 암시함을 보여준다.
• 이러한 기법을 RBF 커널과 힌지손실 SVM에 특별히 적용하여, 커널 분산 σ에 대한 비밀보장 손실의 명시적 하한선을 도출한다.

실험 결과

연구 질문

• RQ1 무한차원 함수 공간에서의 SVM 학습을 위한 효율적이고 차별적 비밀보장 메커니즘을 어떻게 설계할 수 있는가?
• RQ2 힌지손실 SVM에 대해 어떤 (ϵ, δ)-유용 메커니즘도 도달할 수 있는 최적의 차별적 비밀보장 수준은 무엇인가?
• RQ3 강력한 비밀보장 보장을 유지하면서도 고유용도를 달성할 수 있는가?
• RQ4 커널 편향 하에서 정규화된 경험리스크최소화의 부드러움은 비밀보장 학습에서 유용성에 어떻게 기여하는가?
• RQ5 특히 작은 분산을 가진 RBF 커널에 대해, 비밀보장-유용성 트레이드오프의 본질적 한계는 무엇인가?

주요 결과

• 이동 불변 커널을 위한 제안된 메커니즘은 랜덤 RKHS에서 학습함으로써 고확률로 (ϵ, δ)-유용성을 달성하며, 목표 커널을 균일하게 근사한다.
• 차별적 비밀보장은 전역 감도가 아닌 RERM의 알고리즘 안정성에 기반하여 입증되며, 이는 비밀보장 학습을 위한 새로운 증명 기법을 제공한다.
• 유용성은 비사용자 SVM 분류기와의 점별 ϵ-근접성을 확보함으로써 입증되며, 이는 확률 1−δ로 성립한다.
• 랜덤 특징 근사를 활용함으로써, VC 차원이 무한대인 함수 공간에서도 분류기의 유한한 인코딩이 가능해진다.
• 최적의 차별적 비밀보장에 대한 하한선은, 작은 ϵ과 β를 가진 경우 어떤 메커니즘도 동시에 (ϵ, δ)-유용성과 β-차별적 비밀보장을 달성할 수 없음을 보여준다. 이는 특정 조건 하에서 성립한다.
• RBF 커널을 가진 힌지손실 SVM의 경우, 최적의 차별적 비밀보장은 log((1−δ)(N−1)/δ)로 하한이 설정되며, 여기서 N = ⌊2/(σ√(2 log 2))⌋이다. 이는 작은 σ 값이 고정밀도 메커니즘에 대해 열악한 비밀보장 보장을 암시함을 보여준다.