[论文解读] Lower Bounds for Locally Private Estimation via Communication Complexity

John C. Duchi, Ryan Rogers|arXiv (Cornell University)|Feb 1, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用 30

一句话总结

本文通过将问题转化为通信复杂性，建立了局部隐私估计的严格极小极大下界，表明在 $\varepsilon$-局部隐私下的有效样本量按 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$ 缩放。该研究为所有隐私水平（包括近似、Rényi 和集中差分隐私）提供了紧致的下界，并表明 $d$-维均值估计的极小极大均方误差按 $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ 缩放。该框架适用于任意交互式协议，并能处理 $\varepsilon \gg 1$ 的高维情形。核心洞见是隐私约束降低了信息传输量，这直接映射到通信受限估计的边界。

ABSTRACT

We develop lower bounds for estimation under local privacy constraints---including differential privacy and its relaxations to approximate or Rényi differential privacy---by showing an equivalence between private estimation and communication-restricted estimation problems. Our results apply to arbitrarily interactive privacy mechanisms, and they also give sharp lower bounds for all levels of differential privacy protections, that is, privacy mechanisms with privacy levels $\varepsilon \in [0, \infty)$. As a particular consequence of our results, we show that the minimax mean-squared error for estimating the mean of a bounded or Gaussian random vector in $d$ dimensions scales as $\frac{d}{n} \cdot \frac{d}{ \min\{\varepsilon, \varepsilon^2\}}$.

研究动机与目标

• 为解决在任意交互式协议和所有隐私水平（包括 $\varepsilon \gg 1$）下局部隐私估计缺乏通用下界的问题。
• 填补现有理论中的空白，这些理论仅适用于非自适应机制或高隐私场景（$\varepsilon \leq 1$）。
• 统一并扩展对差分隐私松弛形式（包括近似、Rényi 和集中差分隐私）的结果。
• 建立一个将局部隐私映射到通信受限估计的框架，从而实现已知通信复杂性下界向估计边界的转移。

提出的方法

• 通过将隐私约束等价为数据传输的信息限制，将局部隐私估计问题转化为通信复杂性问题。
• 将分布式估计中的已知极小极大下界（Zhang et al., 2013; Braverman et al., 2016）应用于隐私协议。
• 使用信息论论证，将 $\varepsilon$-局部隐私下的有效样本量边界限定为 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$。
• 通过构造正则条件分布，在保持统计保真度的同时满足差分隐私，使用可测耦合。
• 利用比值保证 $|\log(q_0(z|x;x',w)/q_0(z|x';x,w))| \leq \varepsilon$ 确保隐私性，同时控制总变差距离。
• 应用 Hoeffding 不等式和泰勒展开，对在隐私约束下高斯均值估计的估计误差进行边界限定。

实验结果

研究问题

• RQ1 在任意交互式协议和所有隐私水平 $\varepsilon \in [0, \infty)$ 下，局部差分隐私估计的基本极限是什么？
• RQ2 在局部隐私均值估计中，极小极大均方误差如何随维度 $d$、样本量 $n$ 和隐私参数 $\varepsilon$ 变化？
• RQ3 能否将通信复杂性下界适配以推导出局部隐私估计的紧致极小极大边界？
• RQ4 Rényi 或近似差分隐私等隐私松弛形式如何影响有效样本量和估计误差？
• RQ5 自适应性和交互性在局部隐私协议中的作用是什么，它们如何影响估计效率？

主要发现

• 估计 $d$-维有界或高斯随机向量均值的极小极大均方误差按 $\frac{d}{n} \cdot \frac{d}{\min\{\varepsilon, \varepsilon^2\}}$ 缩放，且对所有 $\varepsilon \in [0, \infty)$ 均为紧致。
• 当 $\varepsilon \gg 1$ 时，$\varepsilon$-局部隐私下的有效样本量为 $n \cdot \min\{\varepsilon, \varepsilon^2, d\}/d$，表明隐私放大效应被准确捕捉在缩放关系中。
• 该框架适用于所有形式的差分隐私，包括近似、Rényi 和集中差分隐私，且对隐私参数无限制。
• 结果适用于任意交互式和自适应的隐私化机制，克服了以往研究仅限于非自适应方案的局限性。
• 分析表明，估计误差的根本限制源于满足隐私性的信息论成本，这直接映射到通信复杂性约束。
• 对于一维高斯均值估计，推导出的下界与已知结果一致，但将其扩展到了任意 $\varepsilon$ 和更高维度。