[论文解读] Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters

Jayadev Acharya, Ziteng Sun|arXiv (Cornell University)|May 28, 2019

Wireless Communication Security Techniques被引用 27

一句话总结

该论文提出了一种样本最优、一比特、$\varepsilon$-局部差分隐私方案，用于无公共随机性的分布估计，实现了最优效用。研究表明，Hadamard Response 在稀疏重击者估计中同样具有最优效用，并证明了在无公共随机性条件下，最优重击者估计所需的用户通信量下限为 $\Omega(\min\{\log n, \log k\})$ 比特，揭示了在局部差分隐私下，分布估计与频率估计之间存在根本性的通信复杂度差距。

ABSTRACT

We consider the problems of distribution estimation and heavy hitter (frequency) estimation under privacy and communication constraints. While these constraints have been studied separately, optimal schemes for one are sub-optimal for the other. We propose a sample-optimal $\varepsilon$-locally differentially private (LDP) scheme for distribution estimation, where each user communicates only one bit, and requires no public randomness. We show that Hadamard Response, a recently proposed scheme for $\varepsilon$-LDP distribution estimation is also utility-optimal for heavy hitter estimation. Finally, we show that unlike distribution estimation, without public randomness where only one bit suffices, any heavy hitter estimation algorithm that communicates $o(\min \{\log n, \log k\})$ bits from each user cannot be optimal.

研究动机与目标

• 设计一种通信高效、用户通信量最小的局部差分隐私方案，用于分布估计。
• 证明Hadamard Response在$\varepsilon$-LDP下对分布估计和重击者估计均具有最优性。
• 刻画在无公共随机性条件下，$\varepsilon$-LDP下重击者估计的根本通信复杂度极限。
• 证明在一比特通信下，可实现LDP下分布估计的最优性能，但无法实现重击者估计的最优性能。

提出的方法

• 为每位用户提出一种一比特、$\varepsilon$-局部差分隐私信道，采用无公共随机性的私有硬币方案。
• 采用基于Hadamard的随机响应机制，在最小化通信量的同时确保$\varepsilon$-LDP并最大化效用。
• 通过信道矩阵与输出分布之间的对偶性论证，将分布估计问题约化为频率估计问题。
• 基于切比雪夫不等式，采用统计不可区分性论证，推导出重击者估计的通信复杂度下界。
• 构造具有相同输出分布的对抗性输入分布，以迫使估计误差达到下界。
• 采用向量分解技术，识别信道矩阵中的零空间方向，从而构造出频率不同但不可区分的输入分布。

实验结果

研究问题

• RQ1 一比特、$\varepsilon$-局部差分隐私方案是否能在无公共随机性条件下实现分布估计的最优样本复杂度？
• RQ2 Hadamard Response 是否不仅在分布估计中具有最优效用，而且在$\varepsilon$-LDP下的重击者估计中也具有最优效用？
• RQ3 在无公共随机性条件下，$\varepsilon$-LDP下最优重击者估计所需的最小用户通信量是多少？
• RQ4 在$\varepsilon$-LDP下，分布估计与重击者估计的通信复杂度有何不同？

主要发现

• 所提出的单比特、私有硬币方案在无公共随机性条件下，实现了$\varepsilon$-局部差分隐私分布估计的样本最优性能。
• 证明了Hadamard Response在$\varepsilon$-LDP下对分布估计和重击者估计均具有最优效用。
• 任何在$\varepsilon$-LDP下每用户通信量为$o(\min\{\log n, \log k\})$的重击者估计算法，若无公共随机性，则无法达到最优。
• 在无公共随机性条件下，重击者估计的通信复杂度下限为$\Omega(\log n + \log(1/\varepsilon))$比特/用户。
• 该下界表明，在无公共随机性条件下，一比特通信不足以实现$\varepsilon$-LDP下重击者估计的最优性能。
• 实验评估表明，所提出的单比特方案在$\ell_1$-误差方面与RAPPOR和子集选择等先进方法相当，同时每用户仅使用一比特。