[논문 리뷰] Efficient Differentially Private $F_0$ Linear Sketching

Rasmus Pagh, Nina Mesing Stausholm|IT University Of Copenhagen (IT University of Copenhagen)|2020. 01. 31.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 4

한 줄 요약

이 논문은 이진 벡터 $x$ 와 가중치 벡터 $w \in (0,1]^u$ 에 대해 정의된 가중 $F_0$ 노름 $\|x \circ w\|_1$ 를 추정하기 위한 효율적인 비밀보장성 있는 선형 스케치를 제시한다. GF(2) 기반 선형 스케치와 무작위 응답 노이즈를 조합함으로써, 이 방법은 $\varepsilon$-비밀보장성, $O(\log^2 u / \varepsilon^2 \beta^2)$ 크기의 스케치, 상대 오차 $1\pm\beta$ 와 $O(\log u / \varepsilon^2 \beta^2)$ 의 추가 오차를 달성한다. 또한 분산 스트리밍 응용 프로그램에서 스케치를 효율적으로 병합할 수 있다.

ABSTRACT

A powerful feature of linear sketches is that from sketches of two data vectors, one can compute the sketch of the difference between the vectors. This allows us to answer fine-grained questions about the difference between two data sets. In this work, we consider how to construct sketches for weighted $F_0$, i.e., the summed weights of the elements in the data set, that are small, differentially private, and computationally efficient. Let a weight vector $w\in(0,1]^u$ be given. For $x\in\{0,1\}^u$ we are interested in estimating $\Vert x\circ w\Vert_1$ where $\circ$ is the Hadamard product (entrywise product). Building on a technique of Kushilevitz et al.~(STOC 1998), we introduce a sketch (depending on $w$) that is linear over GF(2), mapping a vector $x\in \{0,1\}^u$ to $Hx\in\{0,1\}^τ$ for a matrix $H$ sampled from a suitable distribution $\mathcal{H}$. Differential privacy is achieved by using randomized response, flipping each bit of $Hx$ with probability $p<1/2$. We show that for every choice of $0

연구 동기 및 목표

• 스트리밍 또는 분산 환경에서 가중 $F_0$ 노름 $\|x \circ w\|_1$ 의 효율적이고 정확한 추정을 지원하는 비밀보장성 있는 선형 스케치를 설계하는 것.
• 이전의 비밀보장성 있는 $F_0$ 스케칭 방법들이 노이즈 캘리브레이션을 위해 준다항식 또는 초선형 시간을 요구하는 계산적 비효율성을 해결하는 것.
• 기존의 비밀보장성 있는 스케칭 기법을 확장하여 각 원소의 가중치가 $(0,1]$ 에 속하는 가중치 데이터를 처리할 수 있도록 하는 것.
• 분산 스트리밍 환경에서 대칭차와 합집합 크기 등의 집합 연산을 안전하고 비밀스럽게 추정할 수 있도록 하는 것.
• 스케치가 비밀보장성과 추정 정확성을 유지하면서도 효율적으로 병합될 수 있도록 보장하는 것.

제안 방법

• 이 방법은 분포 $\mathcal{H}$ 에서 샘플링된 행렬 $H$ 를 사용하여 GF(2) 상에서 정의된 선형 스케치로, 입력 $x \in \{0,1\}^u$ 를 $Hx \in \{0,1\}^\tau$ 로 매핑한다.
• 비밀보장성은 $Hx$ 의 각 성분에 독립적인 베르누이 노이즈 $\varphi_j \sim \text{Bernoulli}(p)$ 를 더하여 달성되며, 이로 인해 GF(2) 상에서 노이즈가 첨가된 스케치 $Hx + \varphi$ 가 생성된다.
• 스케치 크기 $\tau$ 는 높은 확률로 상대 오차 $1\pm\beta$ 이내이며, $O(\log u \cdot \varepsilon^{-2} \beta^{-2})$ 의 추가 오차를 보장하기 위해 $O(\log^2 u \cdot \varepsilon^{-2} \beta^{-2})$ 로 설정된다.
• 추정 알고리즘은 $Hx + \varphi$ 의 각 행에 있는 1의 개수를 계산하고, $\log u$ 개의 수준에서 간격 추정을 수행한 후, 간격의 교차를 통해 최종 추정치를 산출한다.
• 분산 스트리밍을 위해 사전 샘플링 계층이 적용된다: 각 항목은 스케칭 이전에 독립적으로 확률 $1/2$ 로 샘플링되며, 이는 스케치가 중복에 대해 강건하고 합집합 추정을 지원하도록 보장한다.
• 이 방법은 찬로프 불등식을 활용하여, 홀수 번 샘플링된 항목의 비율이 $1/2$ 에 가까워지도록 보장하며, 이는 추정치를 두 배로 확대하여 진짜 가중 수를 복원할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 가중 $F_0$ 추정을 위한 비밀보장성 있는 선형 스케치를 설계할 수 있는가? 이는 계산적으로 효율적이며 공간적으로도 효율적이어야 한다.
• RQ2 준다항식 또는 초선형 시간 비용 없이 GF(2)-기반 선형 스케치에 대해 랜덤라이즈드 리스폰스를 적용하여 $\varepsilon$-비밀보장성을 달성할 수 있는가?
• RQ3 상대 오차 $1\pm\beta$ 를 높은 확률로 달성하기 위해 필요한 스케치 크기는 얼마이며, 기존 알려진 하한과 비교해 볼 때 어떻게 되는가?
• RQ4 스케치가 분산 스트리밍 환경에서 효율적으로 병합되어 두 데이터 세트의 합집합 또는 대칭차를 추정할 수 있는가?
• RQ5 만약 $\beta = o(1/\sqrt{\bar{m}})$ 이고 $\log u / \varepsilon = \bar{m}^{o(1)}$ 라면, 이전 작업에 비해 오차 한계에서 향상되는가?

주요 결과

• 스케치 크기는 $\tau = O(\log^2 u \cdot \varepsilon^{-2} \beta^{-2})$ 이며, 이는 $F_0$ 추정에 대해 알려진 하한 $\Omega(\log u \cdot \beta^{-2})$ 와 다항식 관계에 있다.
• 이 방법은 노이즈 벡터 $\varphi$ 의 랜덤성에 기반하여 $\varepsilon$-비밀보장성을 달성하며, 데이터 또는 스케치 행렬 $H$ 와의 의존성이 없다.
• 추정 오차는 상대 오차 $1\pm\beta$ 이내이며 확률 $1 - u^{-1}$ 에서 성립하며, 추가 오차는 $O(\log u \cdot \varepsilon^{-2} \beta^{-2})$ 이다.
• 추정은 $O(\tau)$ 시간에 수행되며, 스케칭은 $O(\|x\|_0 \log u)$ 시간에 수행되어 대규모 데이터에 대해 계산적으로 효율적이다.
• 스케치 병합을 지원한다: $H(x_1 + x_2) + (\varphi_1 + \varphi_2)$ 는 대칭차를 위한 유효한 스케치를 제공하며, 분산 스트림에서 비밀스러운 합집합 크기 추정을 가능하게 한다.
• 분산 스트리밍 모델에서 사전 샘플링 기법은 두 스트림의 합집합 스케치가 독립적으로 샘플링된 항목을 가진 단일 스트림의 스케치와 동일함을 보장하여, 비밀보장성과 정확성을 유지한다.