[논문 리뷰] Optimal Schemes for Discrete Distribution Estimation under Locally Differential Privacy

Min Ye, Alexander Barg|arXiv (Cornell University)|2017. 02. 02.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 15

한 줄 요약

이 논문은 국소적 차별적 프라이버시 하에서 이산 분포 추정을 위한 새로운 비공식화 기법 가족을 제안하며, 중간 프라이버시 영역($1 \ll e^\epsilon \ll k$)에서 성능을 크게 향상시킨다. 기존 방법에 비해 $\ell_2^2$ 기준 50%, $\ell_1$ 기준 30%의 예측 손실 감소를 이룬다. 또한 날카운 계량 하한을 통한 순서 최적성 증명을 통해 이론적 최적성을 입증한다.

ABSTRACT

We consider the minimax estimation problem of a discrete distribution with support size $k$ under privacy constraints. A privatization scheme is applied to each raw sample independently, and we need to estimate the distribution of the raw samples from the privatized samples. A positive number $ε$ measures the privacy level of a privatization scheme. For a given $ε,$ we consider the problem of constructing optimal privatization schemes with $ε$-privacy level, i.e., schemes that minimize the expected estimation loss for the worst-case distribution. Two schemes in the literature provide order optimal performance in the high privacy regime where $ε$ is very close to $0,$ and in the low privacy regime where $e^ε\approx k,$ respectively. In this paper, we propose a new family of schemes which substantially improve the performance of the existing schemes in the medium privacy regime when $1\ll e^ε \ll k.$ More concretely, we prove that when $3.8 < ε

연구 동기 및 목표

• 기존 기법이 성능을 발휘하지 못하는 중간 프라이버시 영역에서 효율적인 비공식화 기법의 격차를 메우기 위해.
• 에프실론-국소적 차별적 프라이버시 하에서 예측 손실의 기대값을 최소화하는 새로운 비공식화 기법 가족을 설계하기 위해.
• 중간에서 고프라이버시 영역($e^\epsilon \ll k$)에서 제안된 기법이 순서 최적임을 날카운 하한을 통해 증명하기 위해.
• 최적의 비공식화 기법이 출력 확률 비율이 $1$ 또는 $e^\epsilon$인 극단적 구성으로 제한될 수 있음을 보여주기 위해.
• 제안된 기법이 중간 프라이버시 영역에서 $k$-RAPPOR과 $k$-RR보다 $\ell_2^2$ 및 $\ell_1$ 예측 손실 측면에서 뛰어나다는 것을 보여주기 위해.

제안 방법

• 저자들은 출력 확률 비율이 서로 다른 입력에 대해 $1$ 또는 $e^\epsilon$인 극단적 구성 기반의 새로운 비공식화 기법 가족을 도입하여, $\epsilon$-국소적 차별적 프라이버시를 보장한다.
• 유한한 출력 알파벳과 구조화된 분할을 사용하여, 프라이버시 제약 조건 하에서 추정 정확도를 최적화하는 기법을 구성한다.
• 영역 $e^\epsilon \ll k$에서 최소 최대 추정 손실에 대한 날카운 하한을 유도하여, 제안된 기법이 이 영역에서 순서 최적임을 증명한다.
• 비공식화된 샘플에 대한 경험적 추정기법을 도출하여, 비공식화된 데이터로부터 정확한 분포 재구성을 가능하게 한다.
• 확률론적 경계와 가측 집합의 대수적 구성 기법을 활용하여 농도 및 추정 오차 경계를 수립한다.
• $k$-RAPPOR과 $k$-RR와의 비교를 통해 기법을 검증하였으며, 다양한 지표에서 예측 손실 감소를 확인하였다.

실험 결과

연구 질문

• RQ1 중간 프라이버시 영역($1 \ll e^\epsilon \ll k$)에서 기존 기법보다 뛰어난 새로운 비공식화 기법을 설계할 수 있는가?
• RQ2 중간에서 고프라이버시 영역($e^\epsilon \ll k$)에서 예측 손실의 기본 한계(하한)는 무엇인가?
• RQ3 제안된 기법은 순서 최적인가, 즉 $k$와 $\epsilon$에 대해 최선의 스케일링을 달성하는가?
• RQ4 최적의 비공식화 기법은 출력 확률 비율이 $1$ 또는 $e^\epsilon$인 극단적 구성으로 제한될 수 있는가?
• RQ5 $\ell_2^2$ 및 $\ell_1$ 예측 손실 측면에서 신규 기법이 $k$-RAPPOR과 $k$-RR보다 얼마나 향상되는가?

주요 결과

• 제안된 기법은 중간 프라이버시 영역에서 $3.8 < \epsilon < \ln(k/9)$ 조건을 만족할 경우 기존 기법 대비 기대 $\ell_2^2$ 예측 손실을 50% 감소시킨다.
• 동일한 조건에서 기대 $\ell_1$ 예측 손실은 30% 감소하며, 이는 $k$-RAPPOR과 $k$-RR를 크게 능가함을 의미한다.
• 중간 프라이버시 영역에서 $\ell_2^2$ 지표 기준으로 제안된 기법은 $k$-RR 대비 $\Theta(k / e^\epsilon)$의 개선 요인을 달성한다.
• 영역 $e^\epsilon \ll k$에 대해 날카운 하한을 증명하여, 제안된 기법이 이 영역에서 순서 최적임을 입증한다.
• 최적의 비공식화 기법은 서로 다른 입력에 대한 출력 확률 비율이 $1$ 또는 $e^\epsilon$인 극단적 구성으로 제한될 수 있으며, 이는 탐색 공간을 단순화한다.
• 결과는 제안된 기법이 경험적으로 뛰어난 성능 뿐 아니라 최소 최대 추정 위험 측면에서도 이론적으로 최적임을 보여준다.