[论文解读] Lossless Compression of Efficient Private Local Randomizers

Vitaly Feldman, Kunal Talwar|arXiv (Cornell University)|Feb 24, 2021

Privacy-Preserving Technologies in Data参考文献 45被引用 4

一句话总结

本文提出一种通用方法，在标准密码学假设下，利用伪随机生成器（PRG）对局部差分隐私（LDP）随机化器实现无损压缩，将通信成本降低至PRG种子大小，同时保持隐私和效用。该方法在高隐私区间（ε > 1）下，与先前的压缩LDP算法相比，误差最高可降低5倍。

ABSTRACT

Locally Differentially Private (LDP) Reports are commonly used for collection of statistics and machine learning in the federated setting. In many cases the best known LDP algorithms require sending prohibitively large messages from the client device to the server (such as when constructing histograms over large domain or learning a high-dimensional model). This has led to significant efforts on reducing the communication cost of LDP algorithms. At the same time LDP reports are known to have relatively little information about the user's data due to randomization. Several schemes are known that exploit this fact to design low-communication versions of LDP algorithm but all of them do so at the expense of a significant loss in utility. Here we demonstrate a general approach that, under standard cryptographic assumptions, compresses every efficient LDP algorithm with negligible loss in privacy and utility guarantees. The practical implication of our result is that in typical applications the message can be compressed to the size of the server's pseudo-random generator seed. More generally, we relate the properties of an LDP randomizer to the power of a pseudo-random generator that suffices for compressing the LDP randomizer. From this general approach we derive low-communication algorithms for the problems of frequency estimation and high-dimensional mean estimation. Our algorithms are simpler and more accurate than existing low-communication LDP algorithms for these well-studied problems.

研究动机与目标

• 解决高效LDP算法的高通信成本问题，特别是针对大域或高维数据。
• 克服先前压缩技术在ε > 1区间下导致效用下降或ε增大的局限性。
• 为任意高效LDP随机化器开发一种通用、无损的压缩框架，同时保持隐私与效用保障。
• 实现在客户端通信受限的联邦设置中，高效率LDP机制的实际部署。
• 在频率估计和高维均值估计任务上展示该方法的有效性，优于现有低通信量方法。

提出的方法

• 使用与任意输入下LDP随机化器R输出分布ε-接近的、与数据无关的参考分布ρ。
• 用强伪随机生成器（PRG）从种子生成的伪随机位，替代R中的真实随机位。
• 相对于ρ的伪随机样本执行拒绝采样，以模拟R(x)，同时保持隐私。
• 通过要求PRG能欺骗一个计算有界测试（该测试比较R(x)与ρ的密度比），确保隐私保护。
• 利用标准密码学假设（如存在指数级强伪随机生成器）确保其与真随机性在计算上不可区分。
• 将该方法应用于特定LDP机制（如PrivUnit和PrivHS），通过优化参数以最小化方差代理，提升效用。

实验结果

研究问题

• RQ1 我们能否在不损失隐私或效用的前提下，对任意高效LDP随机化器的输出进行压缩？
• RQ2 哪些密码学假设足以确保伪随机压缩能保持ε-差分隐私？
• RQ3 该压缩技术在典型LDP问题（如频率估计和高维均值估计）上的实际表现如何？
• RQ4 该压缩方法能否在ε > 1区间下实现优于现有低通信LDP算法的效用表现？
• RQ5 将隐私预算拆分到多次运行对压缩机制的误差和计算成本有何影响？

主要发现

• 在标准密码学假设下，所提出的压缩方法仅带来可忽略的隐私与效用损失，同时保持两者。
• 当d=2000且ε=8时，代理方差的准确度在3.5%以内，验证了使用范数代理作为真实误差的准确替代是合理的。
• PrivUnitOptimized实现的期望平方误差比SQKR低最多5倍，比标准PrivUnit低2.5倍，显著优于先前的压缩LDP算法。
• 将ε=8拆分为两次ε=4的运行，使期望平方误差增加约2倍，表明计算与精度之间存在权衡。
• 该方法具有通用性，可直接应用于未来任何高效LDP随机化器，无需重新推导，从而为未来提升效用与通信效率提供可能。
• 压缩将消息大小减少至PRG种子长度，使该方法在带宽受限的联邦学习与数据采集系统中具备实际部署可行性。