[论文解读] Heavy Hitters and the Structure of Local Privacy

Mark Bun, Jelani Nelson+1 more|arXiv (Cornell University)|Nov 13, 2017

Cryptography and Data Security参考文献 17被引用 5

一句话总结

本文提出了一种新的局部差分隐私算法，用于解决重头元素（heavy hitters）问题，实现了最优的最坏情况误差，并在所有标准参数（包括失败概率 β）上具有紧密的依赖关系。通过深入理解局部隐私结构，作者证明了一个包含 β 的紧致误差下界，表明其算法在所有参数上均达到最优，并进一步建立了局部模型中独有的高级群体隐私性质。

ABSTRACT

We present a new locally differentially private algorithm for the heavy hitters problem which achieves optimal worst-case error as a function of all standardly considered parameters. Prior work obtained error rates which depend optimally on the number of users, the size of the domain, and the privacy parameter, but depend sub-optimally on the failure probability. We strengthen existing lower bounds on the error to incorporate the failure probability, and show that our new upper bound is tight with respect to this parameter as well. Our lower bound is based on a new understanding of the structure of locally private protocols. We further develop these ideas to obtain the following general results beyond heavy hitters. $\bullet$ Advanced Grouposition: In the local model, group privacy for $k$ users degrades proportionally to $\approx \sqrt{k}$, instead of linearly in $k$ as in the central model. Stronger group privacy yields improved max-information guarantees, as well as stronger lower bounds (via "packing arguments"), over the central model. $\bullet$ Building on a transformation of Bassily and Smith (STOC 2015), we give a generic transformation from any non-interactive approximate-private local protocol into a pure-private local protocol. Again in contrast with the central model, this shows that we cannot obtain more accurate algorithms by moving from pure to approximate local privacy.

研究动机与目标

• 设计一种具有最优最坏情况误差的局部差分隐私算法，用于重头元素问题。
• 通过实现对失败概率 β 的最优依赖关系，弥补先前工作中在该参数上依赖不足的缺陷。
• 通过新的下界分析，深化对局部私有协议结构的理论理解。
• 证明在局部模型中，群体隐私的退化程度约为 √k，而非像中心模型中那样线性退化。
• 通过从近似隐私到纯隐私局部协议的通用转换，表明从纯局部隐私转向近似局部隐私并不能提高算法的准确性。

提出的方法

• 通过结合 Bassily 等人（2015）的技术与文献 [22] 中的非私有算法，提出一种新的局部差分隐私重头元素算法。
• 引入对局部私有协议中互信息与条件熵的精细化分析，以推导出更紧致的下界。
• 利用反浓度定理（如定理 7.5 和推论 7.6）来限制在局部隐私约束下求和估计器的方差。
• 应用切尔诺夫不等式，分析一个 transcript 中包含足够多‘良好’索引（即后验熵保持较高的位置）的概率。
• 提出一种从任意非交互式 (ε, δ)-私有局部协议到纯-ε-私有局部协议的通用转换方法，表明在局部模型中，近似隐私无法带来精度上的增益。
• 采用打包论证与信息论工具，证明误差下界对 β 的依赖关系为 Ω(1/ε · √(n log(1/β)))，与上界完全匹配。

实验结果

研究问题

• RQ1 我们能否在局部差分隐私重头元素协议中实现对失败概率 β 的最优误差依赖？
• RQ2 局部私有协议的真实结构是什么，使得能够推导出更紧致的下界？
• RQ3 与中心模型相比，群体隐私在局部模型中的退化方式如何？
• RQ4 在准确性方面，近似局部隐私是否相比纯局部隐私具有优势？
• RQ5 我们能否在不损失精度的前提下，将近似局部协议转换为纯局部协议？

主要发现

• 所提出的算法在所有参数（包括 β）上均实现了最优依赖关系，最坏情况误差为 O(1/ε · √(n log(|X|/β)))。
• 误差下界为 Ω(1/ε · √(n log(1/β)))，证明了上界对 β 的依赖关系是紧致的。
• 在局部模型中，k 个用户的群体隐私退化程度约为 √k，而非像中心模型中那样线性退化。
• 本文通过通用转换方法证明，近似局部隐私无法产生比纯局部隐私更精确的算法。
• 分析表明，输入与局部报告之间的互信息受到限制，从而为求和估计提供了强有力的反浓度论证。
• 失败概率 β 在误差界中以 log(1/β) 的形式出现，且该依赖关系被证明是紧致的。