[논문 리뷰] Minimax Rates of Estimating Approximate Differential Privacy

Xiyang Liu, Sewoong Oh|arXiv (Cornell University)|2019. 05. 24.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 5

한 줄 요약

이 논문은 메커니즘의 내부 논리에 접근할 필요 없이 블랙박스 접근을 통해 $(\varepsilon, \delta)$-차별적 프라이버시 보장을 근사하기 위한 데이터 기반, 최소최대 최적의 추정기 방법을 제안한다. 다항식 근사를 통해 편향과 분산을 균형 잡음으로써, 이 방법은 효과적인 표본 크기 증폭을 달성하여 표본 효율성에서 플러그인 추정기보다 $\ln n$ 요인만큼 우월하며, 상한과 일치하는 하한을 통해 최소최대 최적성도 입증한다.

ABSTRACT

Differential privacy has become a widely accepted notion of privacy, leading to the introduction and deployment of numerous privatization mechanisms. However, ensuring the privacy guarantee is an error-prone process, both in designing mechanisms and in implementing those mechanisms. Both types of errors will be greatly reduced, if we have a data-driven approach to verify privacy guarantees, from a black-box access to a mechanism. We pose it as a property estimation problem, and study the fundamental trade-offs involved in the accuracy in estimated privacy guarantees and the number of samples required. We introduce a novel estimator that uses polynomial approximation of a carefully chosen degree to optimally trade-off bias and variance. With $n$ samples, we show that this estimator achieves performance of a straightforward plug-in estimator with $n \ln n$ samples, a phenomenon referred to as effective sample size amplification. The minimax optimality of the proposed estimator is proved by comparing it to a matching fundamental lower bound.

연구 동기 및 목표

• 실제 구현에서 설계나 구현 오류가 있을 수 있는 메커니즘에 대해 $(\varepsilon, \delta)$-차별적 프라이버시 보장을 검증하는 데 있어 핵심 과제를 해결하기 위해.
• 메커니즘의 내부 논리에 접근할 필요 없이 데이터 기반의 블랙박스 방법을 개발하여 프라이버시 보장을 추정하기 위해.
• 차별적 프라이버시 파라미터를 추정할 때 추정 정확도와 표본 복잡도 사이의 기본적인 상호보완적 관계를 규명하기 위해.
• 추정 오차의 상한과 일치하는 기본 하한을 유도함으로써 제안된 추정기의 최소최대 최적성을 입증하기 위해.

제안 방법

• 이 방법은 약간의 DP 발산 $d_\varepsilon(P\|Q) = \sum_{i=1}^S [p_i - e^\varepsilon q_i]^+$ 를 사용하여 프라이버시 추정을 성질 추정 문제로 재구성한다.
• 편향과 분산을 균형 잡기 위해 다항식 차수를 신중히 선택한 새로운 추정기를 도입하며, 이는 $f$-발산 함수 $f(x) = [1 - e^\varepsilon x]^+$ 의 다항식 근사를 기반으로 한다.
• 표본 크기 $n$ 에서의 블랙박스 샘플로부터의 경험 분포를 사용하여 진짜 발산을 근사하며, 편향과 분산에 대한 이론적 보장을 제공한다.
• 핵심 기술적 구성 요소로는 근사 오차를 제어하고 농도 경계를 도출하기 위해 체비셰프 유형의 다항식 근사를 사용한다.
• 추정 오차의 상한과 일치하는 하한을 구성함으로써 최소최대 최적성을 입증한다.
• 농도 부등식과 근사된 함수의 $L_2$-노름 도함수에 대한 경계를 활용하여 추정 오차를 제어한다.

실험 결과

연구 질문

• RQ1 블랙박스 접근으로부터 $(\varepsilon, \delta)$-차별적 프라이버시 보장을 추정하기 위해 필요한 표본 복잡도의 기본 한계는 무엇인가?
• RQ2 비모수적이고 데이터 기반의 추정기는 표준 플러그인 추정기보다 프라이버시 추정에서 더 높은 표본 효율성을 달성할 수 있는가?
• RQ3 약간의 DP 발산을 추정할 때 편향과 분산을 어떻게 최적의 방식으로 상쇄시킬 수 있는가?
• RQ4 프라이버시 추정을 위한 최소최대 최적의 추정기는 존재하는가? 그리고 다항식 근사를 통해 이를 구성할 수 있는가?
• RQ5 제안된 추정기는 플러그인 방법에 비해 얼마나 높은 효과적인 표본 크기 증폭을 달성하는가?

주요 결과

• 제안된 추정기는 플러그인 추정기에서 $n \ln n$ 개의 표본을 사용하는 것과 동일한 표본 복잡도를 달성하여, $\ln n$ 요인만큼 효과적인 표본 크기 증폭을 입증한다.
• 추정 오차의 상한이 문제에 대해 유도된 기본 하한과 일치하므로, 추정기는 최소최대 최적이다.
• 이 방법은 실제 메커니즘에 대한 데이터 기반 검증 도구를 제공하며, 설계나 구현에서 잘못된 프라이버시 주장의 탐지를 가능하게 한다.
• 약간의 DP 발산 추정 오차가 $O\left(\sqrt{\frac{c_1 \ln n}{n}}\right)$ 이하로 제한됨을 분석을 통해 입증하였으며, 이 상수는 메커니즘의 출력 분포에 따라 달라진다.
• 이 방법은 고차원 출력 공간에 대해 강건하며, 순수 차별적 프라이버시를 넘어서 더 일반적인 약간의 DP 설정으로도 확장 가능하다.
• 이 방법은 프라이버시 추정과 다항식 근사 간의 기본적인 연결 고리를 드러내며, 프라이버시 맥락에서 비모수적 발산 추정을 위한 새로운 프레임워크를 제공한다.