[論文レビュー] Efficient Differentially Private $F_0$ Linear Sketching

Rasmus Pagh, Nina Mesing Stausholm|IT University Of Copenhagen (IT University of Copenhagen)|Jan 31, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用数 4

ひとこと要約

本稿では、$x$ をバイナリーベクトル、$w$ を$(0,1]^u$ 内の重みベクトルとするとき、$ Vert x \circ w\rVert_1$ として定義される重み付き $F_0$ ノルムを推定するための効率的な微分プライバシー線形スケッチを提示する。GF(2) 上の線形スケッチとランダム化応答ノイズを組み合わせることで、$ Vert$-微分プライバシー、$O(\log^2 u / \varepsilon^2 \beta^2)$ のスケッチサイズ、および $1\pm\beta$ の相対誤差に加えて $O(\log u / \varepsilon^2 \beta^2)$ の加法誤差を達成する。この手法は、分散ストリーミング応用におけるスケッチの効率的統合を可能にする。

ABSTRACT

A powerful feature of linear sketches is that from sketches of two data vectors, one can compute the sketch of the difference between the vectors. This allows us to answer fine-grained questions about the difference between two data sets. In this work, we consider how to construct sketches for weighted $F_0$, i.e., the summed weights of the elements in the data set, that are small, differentially private, and computationally efficient. Let a weight vector $w\in(0,1]^u$ be given. For $x\in\{0,1\}^u$ we are interested in estimating $\Vert x\circ w\Vert_1$ where $\circ$ is the Hadamard product (entrywise product). Building on a technique of Kushilevitz et al.~(STOC 1998), we introduce a sketch (depending on $w$) that is linear over GF(2), mapping a vector $x\in \{0,1\}^u$ to $Hx\in\{0,1\}^τ$ for a matrix $H$ sampled from a suitable distribution $\mathcal{H}$. Differential privacy is achieved by using randomized response, flipping each bit of $Hx$ with probability $p<1/2$. We show that for every choice of $0

研究の動機と目的

• ストリーミングまたは分散環境下で、重み付き $F_0$ ノルム $\|x \circ w\|_1$ の推定を効率的かつ正確に行う微分プライバシー線形スケッチを設計すること。
• 従来の微分プライバシー $F_0$ スケッチ手法がノイズキャリブレーションに準多項式的または超線形時間が必要とすることによる計算非効率性を克服すること。
• 各要素が $(0,1]$ 内の重みを持つデータを扱えるように、既存の微分プライバシースケッチ技術を拡張すること。
• 分散データストリームにおける集合演算（対称差や和集合のサイズ）の安全かつプライベートな推定を可能にすること。
• スケッチが微分プライバシーと推定精度を保ちつつ、効率的に統合可能であることを保証すること。

提案手法

• 本手法は、分布 $\mathcal{H}$ から抽出された行列 $H$ を用いて定義される GF(2) 上の線形スケッチであり、入力 $x \in \{0,1\}^u$ を $Hx \in \{0,1\}^\tau$ にマッピングする。
• 微分プライバシーは、$Hx$ の各成分に独立なベルヌーイノイズ $\varphi_j \sim \text{Bernoulli}(p)$ を加えることで達成され、GF(2) 上のノイズ付きスケッチ $Hx + \varphi$ が得られる。
• スケッチサイズ $\tau$ は、高確率で $1\pm\beta$ の相対誤差と $O(\log u \cdot \varepsilon^{-2} \beta^{-2})$ の加法誤差を達成するため、$O(\log^2 u \cdot \varepsilon^{-2} \beta^{-2})$ に設定される。
• 推定アルゴリズムは、$Hx + \varphi$ の各行に含まれる1の数を計算し、$\log u$ レベルにわたる区間推定を実行し、区間の共通部分を計算することで最終的な推定値を得る。
• 分散ストリーミングの文脈では、事前サンプリング層を適用する：各アイテムは事前に確率 $1/2$ で独立にサンプリングされ、これによりスケッチが重複に対して頑健になり、和集合推定が可能になる。
• チェルノフの不等式を用いて、奇数回サンプリングされたアイテムの割合が $1/2$ に近くなることを保証し、推定値を2倍することで真の重み付きカウントを回復可能とする。

実験結果

リサーチクエスチョン

• RQ1 重み付き $F_0$ 推定に適した、計算的にも空間的にも効率的な微分プライバシー線形スケッチを設計できるか？
• RQ2 準多項式的または超線形時間コストを伴わずに、GF(2) 線形スケッチにランダム化応答を適用して $ Vert$-微分プライバシーを達成する方法は何か？
• RQ3 $1\pm\beta$ の相対誤差を高確率で達成するためのスケッチサイズはどの程度必要か？ また、既知の下界と比較するとどうなるか？
• RQ4 2つのデータセットの和集合や対称差の推定を、分散ストリーミング環境で効率的に実行できるスケッチを統合できるか？
• RQ5 $\beta = o(1/\sqrt{\bar{m}})$ かつ $\log u / \varepsilon = \bar{m}^{o(1)}$ の条件下で、本手法は先行研究に比べて誤差境界を改善するか？

主な発見

• スケッチサイズは $\tau = O(\log^2 u \cdot \varepsilon^{-2} \beta^{-2})$ であり、$F_0$ 推定における既知の下界 $\Omega(\log u \cdot \beta^{-2})$ と多項式的関係にある。
• ノイズベクトル $\varphi$ のランダムネスに依存して $ Vert$-微分プライバシーを達成しており、データやスケッチ行列 $H$ には依存しない。
• 推定誤差は、確率 $1 - u^{-1}$ で相対誤差 $1\pm\beta$ に抑えられ、加法誤差は $O(\log u \cdot \varepsilon^{-2} \beta^{-2})$ である。
• 推定処理は $O(\tau)$ 時間、スケッチ作成は $O(\|x\|_0 \log u)$ 時間で実行可能であり、大規模データに対して計算的に効率的である。
• スケッチの統合が可能である：$H(x_1 + x_2) + (\varphi_1 + \varphi_2)$ は、対称差の有効なスケッチを提供し、分散ストリームにおけるプライベートな和集合サイズ推定を可能にする。
• 分散ストリーミングモデルでは、事前サンプリング技術により、2つのストリームの和集合のスケッチが、独立にサンプリングされた1つのストリームのスケッチと等価になることが保証され、プライバシーと正確性が維持される。