[논문 리뷰] The Price of Selection in Differential Privacy

Mitali Bafna, Jonathan Ullman|arXiv (Cornell University)|2017. 02. 09.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 비차별적(private) 상위-$k$ 선택에 필요한 표본 복잡도의 날카운 하한(lower bound)을 확립한다. 고정밀도 영역에서 오차가 표본 오차 $\sqrt{\log d / n}$ 이하일 경우, $n = \Omega(k\log d)$ 가 필수적임을 증명한다. 이 결과는 상위 $k$ 개의 열을 선택하는 데에는 개별적으로 그 값들을 추정하는 것보다 훨씬 더 많은 데이터가 필요하다는 것을 보여주며, 비차별적 개인정보 보호에서 선택의 비용에 대한 근본적인 격차를 해결한다.

ABSTRACT

In the differentially private top-$k$ selection problem, we are given a dataset $X \in \{\pm 1\}^{n imes d}$, in which each row belongs to an individual and each column corresponds to some binary attribute, and our goal is to find a set of $k \ll d$ columns whose means are approximately as large as possible. Differential privacy requires that our choice of these $k$ columns does not depend too much on any on individual's dataset. This problem can be solved using the well known exponential mechanism and composition properties of differential privacy. In the high-accuracy regime, where we require the error of the selection procedure to be to be smaller than the so-called sampling error $α\approx \sqrt{\ln(d)/n}$, this procedure succeeds given a dataset of size $n \gtrsim k \ln(d)$. We prove a matching lower bound, showing that a dataset of size $n \gtrsim k \ln(d)$ is necessary for private top-$k$ selection in this high-accuracy regime. Our lower bound is the first to show that selecting the $k$ largest columns requires more data than simply estimating the value of those $k$ columns, which can be done using a dataset of size just $n \gtrsim k$.

연구 동기 및 목표

• 표본 오차 이하의 오차를 갖는 비차별적 상위-$k$ 선택을 위한 최소 표본 크기를 결정하기 위해.
• 비차별적 상위-$k$ 선택에 대한 기존 상한과 알려진 하한 사이의 격차를 메우기 위해.
• 단지 상위 $k$ 속성을 식별하기만 하는 경우에도 선택은 추정보다 더 많은 데이터가 필요하다는 것을 보여주기 위해.
• 표준 메커니즘인 지수 메커니즘의 $\sqrt{k}\log d / n$ 오차가 渐近적으로 최적임을 입증하기 위해.
• 추적 공격을 정보 이론적 하한을 유도하는 도구로 사용하기 위해.

제안 방법

• 어떤 비차별적 상위-$k$ 알고리즘의 출력을 바탕으로 공격자가 타겟 개인이 데이터셋에 포함되어 있는지 여부를 판단해야 하는 추적 공격을 구성한다.
• 상위-$k$ 선택 문제를 모델링하기 위해 $k$ 개의 열이 평균 $\lambda$ 를 가지며, 나머지는 균일하게 무작위인 데이터셋의 분포를 사용한다.
• 서로 양의 상관관계를 가지는 랜덤 변수에 대해 허프딩 부등식(Hoeffding's inequality)을 적용하여 너무 많은 개인이 임계값 이하로 떨어질 확률을 제한한다.
• 데이터 행렬 내의 양의 상관관계를 활용하여 독립성 가정보다 더 날카운 尾부 확률 바운드를 유도한다.
• 일부 항목이 $-1$ 이라고 조건화하면 다른 항목의 기대값이 증가한다는 사실을 활용하여 희귀 사건의 확률을 제한한다.
• 확률 바운드 $\mathbb{P}[\bigwedge_{i\in R} E_i] \leq \rho^{|R|}$ 를 유도하여, $|R|$ 명의 개인이 상위-$k$ 벡터와 낮은 내적을 갖는 확률이 지수적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 비차별적 알고리즘이 상위-$k$ 열을 선택할 때 표본 오차 이하의 오차를 달성하기 위해 필요한 최소 표본 크기 $n$ 는 얼마인가?
• RQ2 왜 비차별적 상위 $k$ 열 선택은 비차별적 값 추정보다 데이터 측면에서 더 비쌀까?
• RQ3 추적 공격를 사용하여 비차별적 개인정보 보호에서 선택 문제에 대한 날카운 하한을 도출할 수 있는가?
• RQ4 지수 메커니즘의 $\sqrt{k}\log d / n$ 오차가 상위-$k$ 선택에 대해 최적일 수 있는가?
• RQ5 오차 바운드의 $\log d$ 요소는 근본적인 제약 조건인가, 아니면 제거할 수 있는가?

주요 결과

• 비차별적 상위-$k$ 선택 알고리즘은 $n = \Omega(k\log d)$ 가 아닐 경우 오차가 $\alpha = \Omega(\sqrt{\log d / n})$ 이하가 될 수 없다.
• 표본 복잡도 하한 $n = \Omega(k\log d)$ 는 지수 메커니즘이 달성한 상한과 정확히 일치하여 날카운 하한임을 증명한다.
• 비차별적 상위 $k$ 열 선택은 $\Omega(k\log d)$ 개의 표본이 필요하지만, 단지 $k$ 개의 값을 비차별적으로 추정하는 데에는 $\Omega(k)$ 개의 표본만으로도 충분하다.
• 고정밀도 영역에서 오차에 포함된 $\log d$ 요소는 제거할 수 없으며, 이는 선택의 근본적인 비용을 보여준다.
• 하한은 추적 공격를 통해 도출되었으며, 이는 선택의 개인정보 보호 비용이 추정보다 엄격히 더 크다는 것을 보여준다.
• 분석은 데이터 행렬 내의 양의 상관관계를 활용하여 더 날카운 집중 바운드를 도출할 수 있음을 입증하며, 이는 증명에 필수적이다.