[論文レビュー] Lower Bounds for Locally Private Estimation via Communication Complexity

John C. Duchi, Ryan Rogers|arXiv (Cornell University)|Feb 1, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用数 30

ひとこと要約

本稿は、通信複雑性への還元によって、局所的プライバシー下での推定に対する鋭いミニマックス下界を確立し、$\varepsilon$-局所的プライバシー下での有効サンプルサイズが $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ のスケーリングを示している。近似的、Rényi、集中型微分プライバシーを含む、あらゆるプライバシー水準に対してタイトな境界を提供し、$d$次元の平均推定におけるミニマックス平均二乗誤差が $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ のスケーリングを示している。このフレームワークは任意のインタラクティブプロトコルに適用可能で、$\varepsilon \gg 1$ の高次元設定にも対応している。主な洞察は、プライバシー制約が情報伝送を制限することであり、これは直接的に通信制限付き推定の境界にマッピングされる。

ABSTRACT

We develop lower bounds for estimation under local privacy constraints---including differential privacy and its relaxations to approximate or Rényi differential privacy---by showing an equivalence between private estimation and communication-restricted estimation problems. Our results apply to arbitrarily interactive privacy mechanisms, and they also give sharp lower bounds for all levels of differential privacy protections, that is, privacy mechanisms with privacy levels $\varepsilon \in [0, \infty)$. As a particular consequence of our results, we show that the minimax mean-squared error for estimating the mean of a bounded or Gaussian random vector in $d$ dimensions scales as $\frac{d}{n} \cdot \frac{d}{ \min\{\varepsilon, \varepsilon^2\}}$.

研究の動機と目的

• 任意のインタラクティブプロトコルおよびすべてのプライバシー水準（$\varepsilon \gg 1$ を含む）における局所的プライバシー推定の一般的な下界の欠如に対処すること。
• 非適応的メカニズムや高プライバシー領域（$\varepsilon \leq 1$）に限定された既存理論のギャップを埋めること。
• 近似的、Rényi、集中型微分プライバシーを含む微分プライバシーの緩和形態の間で結果を統一・拡張すること。
• 局所的プライバシーを通信制限付き推定にマッピングするフレームワークを確立し、既知の通信複雑性下界の転用を可能にすること。

提案手法

• プライバシー制約をデータ伝送における情報制限に等置することで、局所的プライバシー推定を通信複雑性問題に還元する。
• 分散推定（Zhang et al., 2013; Braverman et al., 2016）からの既知のミニマックス下界をプライベートプロトコルに適用する。
• 情報理論的議論を用いて、$\varepsilon$-局所的プライバシー下での有効サンプルサイズを $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ で上限付ける。
• 可測なカップリングを用いて、微分プライバシーを満たしつつ統計的忠実性を保つ正規化条件付き分布を構築する。
• 比率の保証 $|\log(q_0(z|x;x',w)/q_0(z|x';x,w))| \leq \varepsilon$ を用いてプライバシーを確保するとともに、全 Variation 距離を上限付ける。
• Hoeffdingの不等式とテイラー展開を用いて、プライバシー制約下でのガウス平均推定の推定誤差を上限付ける。

実験結果

リサーチクエスチョン

• RQ1 任意のインタラクティブプロトコルおよびすべてのプライバシー水準 $\varepsilon \in [0, \infty)$ における局所的微分プライバシー下での推定の根本的限界は何か？
• RQ2 局所的プライバシー平均推定において、次元 $d$、サンプルサイズ $n$、プライバシーパラメータ $\varepsilon$ がミニマックス平均二乗誤差にどのように影響するか？
• RQ3 通信複雑性下界を変形することで、局所的プライバシー推定に対するタイトなミニマックス下界を導出できるか？
• RQ4 Rényi や近似的微分プライバシーなどのプライバシー緩和形態が、有効サンプルサイズと推定誤差にどのように影響するか？
• RQ5 適応性とインタラクティブ性は局所的プライバシープロトコルにおいて果たす役割は何か？また、推定効率にどのように影響するか？

主な発見

• 有界またはガウス分布の $d$-次元確率変数の平均を推定する際のミニマックス平均二乗誤差は $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ のスケーリングを示し、$\varepsilon \in [0, \infty)$ に対してタイトである。
• $\varepsilon \gg 1$ の場合、$\varepsilon$-局所的プライバシー下での有効サンプルサイズは $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ であり、プライバシー強化効果がスケーリングに反映されていることを示している。
• このフレームワークは、近的、Rényi、集中型微分プライバシーを含む、あらゆる微分プライバシー形態に適用可能で、プライバシーパラメータに制限がない。
• 非適応的スキームに制限された先行研究の限界を克服し、任意のインタラクティブかつ適応的プライバシティゼーションメカニズムに適用可能である。
• 分析により、推定誤差は根本的にプライバシーを満たすための情報理論的コストによって制限されており、これは直接的に通信複雑性制約にマッピングされる。
• 1次元ガウス平均推定において、導出された下界は既知の結果と一致するが、任意の $\varepsilon$ および高次元にまで拡張されている。