[논문 리뷰] Privacy Odometers and Filters: Pay-as-you-Go Composition

Ryan Rogers, Aaron Roth외 2명|arXiv (Cornell University)|2016. 05. 26.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 40

한 줄 요약

이 논문은 적응적 비밀보장 성질을 위한 프라이버시 필터와 프라이버시 옴니미터를 소개한다. 여기서 프라이버시 파rameter (ε, δ)는 분석 중에 동적으로 선택될 수 있다. 이는 표준 조합 정리와 유사한 경계를 달성할 수 있는 프라이버시 필터와, 약간의 점 渐차적 요소 손실을 겪는 프라이버시 옴니미터를 제안한다. 이는 두 사용 사례 간의 공식적 분리를 입증한다.

ABSTRACT

In this paper we initiate the study of adaptive composition in differential privacy when the length of the composition, and the privacy parameters themselves can be chosen adaptively, as a function of the outcome of previously run analyses. This case is much more delicate than the setting covered by existing composition theorems, in which the algorithms themselves can be chosen adaptively, but the privacy parameters must be fixed up front. Indeed, it isn't even clear how to define differential privacy in the adaptive parameter setting. We proceed by defining two objects which cover the two main use cases of composition theorems. A privacy filter is a stopping time rule that allows an analyst to halt a computation before his pre-specified privacy budget is exceeded. A privacy odometer allows the analyst to track realized privacy loss as he goes, without needing to pre-specify a privacy budget. We show that unlike the case in which privacy parameters are fixed, in the adaptive parameter setting, these two use cases are distinct. We show that there exist privacy filters with bounds comparable (up to constants) with existing privacy composition theorems. We also give a privacy odometer that nearly matches non-adaptive private composition theorems, but is sometimes worse by a small asymptotic factor. Moreover, we show that this is inherent, and that any valid privacy odometer in the adaptive parameter setting must lose this factor, which shows a formal separation between the filter and odometer use-cases.

연구 동기 및 목표

• 사전에 고정된 것이 아니라 분석 중에 적응적으로 선택되는 프라이버시 파rameter (ε, δ)에 대해 비밀보장 조합 문제를 해결한다.
• 두 가지 새로운 기초 기능을 정의하고 공식화한다: 프라이버시 필터(사전에 설정된 프라이버시 예산에 도달할 때 정지하는 기계)와 프라이버시 옴니미터(사전에 설정된 예산이 필요 없이 실시간으로 실현된 프라이버시 손실을 추적하는 기계).
• 질의 수와 프라이버시 파rameter가 모두 적응적으로 선택되는 설정으로 기존의 조합 정리가 확장 가능한지 조사한다.
• 적응적 파rameter 설정에서 프라이버시 필터와 옴니미터 간의 공식적 분리를 확립하며, 옴니미터 성능에 내재된 제한을 보여준다.
• 필터와 옴니미터에 대해 거의 최적인 날카로운 경계를 제공하며, 옴니미터는 비적응적 조합에 비해 약간의 점 渐차적 요소 손실만을 겪는다.

제안 방법

• 프라이버시 필터를 정의한다: 사전에 설정된 프라이버시 예산을 초과하기 전에 계산을 정지시키는 정지 시점 규칙으로, (ε_total, δ_total)-비밀보장성의 차별을 보장한다.
• 프라이버시 옴니미터를 정의한다: 사전에 설정된 예산이 필요 없이 실시간으로 누적된 프라이버시 비용을 추적하는 메커니즘으로, 누적 프라이버시 비용의 실시간 추정치를 제공한다.
• ε_i와 δ_i의 적응적 선택 하에서 프라이버시 손실의 尾확률을 제한하기 위해 농도 부등식과 마틴게일 분석을 사용한다.
• 적절한 파rameter (c = 1/n, t = n)를 사용하여 Theorem 4.5(유계 마틴게일에 대한 농도 부등식)를 적용하여 프라이버시 손실의 고확률 경계를 유도한다.
• 두 가지 주요 경계를 도출한다: ∑ε_i² ∈ [1/n², 1] 인 경우 옴니미터에 대한 경계와, 이 범위 외부에 있을 경우의 경계로, 파라미터 γ를 통해 세밀한 조정을 수행한다.
• 순수 비밀보장성(δ=0) 결과를 일반 (ε,δ)-DP 결과로 변환하기 위해, 비밀보장 보장을 유지하면서 제어 가능한 상수의 증가를 허용하는 번역 기법을 사용한다.

실험 결과

연구 질문

• RQ1 비밀보장 조합 정리가 프라이버시 파rameter (ε, δ)가 분석 중에 적응적으로 선택되는 설정으로 확장될 수 있는가?
• RQ2 사전에 설정된 프라이버시 예산을 초과하기 전에 계산을 정지시키는 프라이버시 필터는 적응적 파rameter 설정에서 여전히 효과적인가?
• RQ3 실시간으로 누적 프라이버시 손실을 추적하는 프라이버시 옴니미터는 비적응적 조합 정리의 경계와 유사한 성능을 달성할 수 있는가?
• RQ4 파라미터가 적응적으로 선택될 경우, 프라이버시 필터와 옴니미터의 능력 간에 근본적인 차이가 존재하는가?
• RQ5 적응적 파라미터 설정에서 옴니미터의 프라이버시 경계에 대한 최소 점 渐차적 손실은 얼마이며, 이 손실은 피할 수 없는가?

주요 결과

• ε와 δ가 적응적으로 선택되더라도, 기존의 비적응적 조합 정리와 유사한 경계(상수 수준)를 갖는 프라이버시 필터를 구성할 수 있다.
• 비적응적 조합 경계에 거의 근접하는 프라이버시 옴니미터를 구성했지만, 편차 항에 추가로 √(log log n)의 점 渐차적 요소 손실을 겪는다.
• 이 점 渐차적 요소 손실이 본질적임을 증명했다: 적응적 파라미터 설정에서 유효한 프라이버시 옴니미터는 반드시 이 손실을 겪어야 하며, 이는 필터와의 공식적 분리를 확립한다.
• 옴니미터의 경계는 ∑ε_i(e^{ε_i}−1)/2 + √(2∑ε_i²(log(110e) + 2log(log n / δ_g)))로 표현되며, 이는 확률 1−δ_g 이상에서 성립한다.
• ∑ε_i²가 [1/n², 1] 범위 외부에 있을 경우, 파라미터 γ를 통해 조정되며, log(log n) 대신 log(1/γ)로 대체되어 강건성을 유지한다.
• 분석 결과, ε_i < 1/(10n)인 알고리즘들은 유의미한 기여를 하지 않으며, 이는 의미 있는 프라이버시 손실 누적에 대해 1/n²를 하한으로 삼는 것이 타당함을 정당화한다.