[논문 리뷰] Accuracy First: Selecting a Differential Privacy Level for Accuracy-Constrained ERM

Katrina Ligett, Seth Neel외 3명|arXiv (Cornell University)|2017. 05. 30.

Privacy-Preserving Technologies in Data인용 수 32

한 줄 요약

이 논문은 데이터 분석자가 경험적 위험 최소화(Empirical Risk Minimization, ERM)에서 고정된 정확도 요구사항을 충족시키는 동시에 가장 비밀스러운 미분적 비밀보장 수준(ε)을 선택할 수 있도록 하는 노이즈 감소 프레임워크를 제안한다. 관련된 노이즈와 적응형 AboveThreshold 기법을 사용함으로써, 개인 정보 보호 오버헤드를 최소화하고 이론적 한계나 기준 검색 방법에 비해 훨씬 강력한 개인 정보 보호 성능(예: e^ε ≈ 10 대비 495)을 달성한다.

ABSTRACT

Traditional approaches to differential privacy assume a fixed privacy requirement $ε$ for a computation, and attempt to maximize the accuracy of the computation subject to the privacy constraint. As differential privacy is increasingly deployed in practical settings, it may often be that there is instead a fixed accuracy requirement for a given computation and the data analyst would like to maximize the privacy of the computation subject to the accuracy constraint. This raises the question of how to find and run a maximally private empirical risk minimizer subject to a given accuracy requirement. We propose a general "noise reduction" framework that can apply to a variety of private empirical risk minimization (ERM) algorithms, using them to "search" the space of privacy levels to find the empirically strongest one that meets the accuracy constraint, incurring only logarithmic overhead in the number of privacy levels searched. The privacy analysis of our algorithm leads naturally to a version of differential privacy where the privacy parameters are dependent on the data, which we term ex-post privacy, and which is related to the recently introduced notion of privacy odometers. We also give an ex-post privacy analysis of the classical AboveThreshold privacy tool, modifying it to allow for queries chosen depending on the database. Finally, we apply our approach to two common objectives, regularized linear and logistic regression, and empirically compare our noise reduction methods to (i) inverting the theoretical utility guarantees of standard private ERM algorithms and (ii) a stronger, empirical baseline based on binary search.

연구 동기 및 목표

• 이론적 미분적 비밀보장 접근 방식(ε를 고정하고 정확도를 최대화함)과 실용적 환경(정확도를 고정하고 개인 정보 보호를 최대화해야 함) 사이의 격차를 해소하기 위함.
• 원하는 정확도 목표와 일치하는 가장 작은 ε를 경험적으로 찾는 방법을 설계함과 동시에 엄격한 개인 정보 보호 보장을 유지하기 위함.
• 일般적으로 높은 개인 정보 비용을 유발하는 적응형 데이터 분석에서의 검색 과정 자체의 개인 정보 비용을 최소화하기 위함.
• 데이터에 따라 결정되는 개인 정보 파rameter를 고려하는 새로운 개인 정보 개념—사후 개인 정보(Ex-post Privacy)—를 도입하고 분석하기 위함.
• 제안된 방법이 이론적 유틸리티 한계나 표준 검색 기반 방법에 비해 훨씬 우수한 개인 정보-정확도 트레이드오프를 경험적으로 입증하기 위함.

제안 방법

• 이 방법은 높은 비밀보장 수준의 초기 추정치에서 노이즈를 빼내면서 점점 더 비밀스럽지 않은 가설을 생성하는 노이즈 감소 기법을 사용하며, 관련된 노이즈를 활용해 추가적인 개인 정보 비용을 방지한다.
• 가설을 순차적으로 테스트하기 위해 AboveThreshold 알고리즘의 상호작용 버전을 적용하여, 정확도 임계값을 충족하는 첫 번째 가설을 개인 정보 보장된 방식으로 식별한다.
• 데이터에 따라 결정되는 쿼리에 대응하는 수정된 분석을 통해, 검색의 개인 정보 비용을 쿼리 수의 로그 함수로 제한한다.
• 표준 개인 정보 보장 ERM 알고리즘(예: 리지 회귀 및 로지스틱 회귀의 공분산 편향 및 출력 편향)을 사용하여 프레임워크를 구현한다.
• 데이터에 따라 결정되는 개인 정보 파rameter를 고려하는 사후 개인 정보를 도입하고, 이 개념에 대한 형식적 분석을 제공한다.
• 정확도 제약 조건을 충족하는 첫 번째 가설을 출력하며, 개인 정보 손실은 최종 가설의 개인 정보 손실과 AboveThreshold 기법의 비용의 합과 같다.

실험 결과

연구 질문

• RQ1 데이터 분석자는 경험적 위험 최소화(Empirical Risk Minimization, ERM)에서 고정된 정확도 요구사항을 충족시키는 동시에 가장 비밀스러운 미분적 비밀보장 수준(ε)을 어떻게 찾을 수 있는가?
• RQ2 ε에 대한 적응형 검색의 개인 정보 비용은 무엇이며, 이를 어떻게 최소화할 수 있는가?
• RQ3 개인 정보 보장된 가설 생성이 가능하면서 추가 개인 정보 오버헤드를 최소화할 수 있는 노이즈 감소 프레임워크를 설계할 수 있는가?
• RQ4 제안된 방법은 이론적 유틸리티 한계나 경험적 검색 기반 방법에 비해 개인 정보-정확도 트레이드오프 측면에서 어떻게 비교되는가?
• RQ5 데이터에 따라 결정되는 개인 정보 파rameter 선택에서 자연스럽게 발생하는 새로운 개인 정보 개념—사후 개인 정보(Ex-post Privacy)—는 무엇이며, 이를 어떻게 형식적으로 분석할 수 있는가?

주요 결과

• 제안된 노이즈 감소 방법은 이론적 유틸리티 한계보다 훨씬 강력한 개인 정보 보장을 달성하며, α=0.05일 때 리지 회귀에서 개인 정보 위험 요소 e^ε를 약 495에서 10.0으로 감소시킨다.
• 같은 정확도 목표(α=0.075)에서, 이 방법은 DoublingMethod 기준 대비 e^ε를 4.65로 줄였으며, 이는 기준 기준의 56.6에 비해 훨씬 낮다.
• 가설 테스트 단계(InteractiveAboveThreshold를 통한)의 개인 정보 비용은 예상보다 컸으며, 주로 가설 노름에 대한 보수적인 민감도 한계 때문이었다.
• 경험적으로, 테스트된 가설의 실제 노름은 이론적 상한보다 훨씬 낮게 나타났으며, 이는 더 날카운 민감도 추정치가 개인 정보 보장을 더욱 향상시킬 수 있음을 시사한다.
• 이 방법의 개인 정보 손실은 거의 최종 가설의 손실과 동일하며, 검색 과정에서 기인하는 로그 오버헤드 외에는 거의 없었다.
• 사후 개인 정보 분석은 ε가 데이터에 따라 적응적으로 선택되더라도 방법이 엄격한 개인 정보 보장을 유지함을 확인한다.