[论文解读] Locally Private Hypothesis Selection

Sivakanth Gopi, Gautam Kamath+4 more|arXiv (Cornell University)|Feb 21, 2020

Privacy-Preserving Technologies in Data参考文献 74被引用 7

一句话总结

本文提出了一种新颖的局部微差隐私（LDP）下的假设选择框架，其中用户在传输前本地化其数据。它提出了非交互式和顺序交互式算法，实现k个假设的近似最优样本复杂度Õ(k)，显著优于朴素的O(k²)方法，并为具有对抗性比较器的最大值选择问题建立了紧致的样本复杂度和轮次复杂度边界。

ABSTRACT

We initiate the study of hypothesis selection under local differential privacy. Given samples from an unknown probability distribution $p$ and a set of $k$ probability distributions $\mathcal{Q}$, we aim to output, under the constraints of $\varepsilon$-local differential privacy, a distribution from $\mathcal{Q}$ whose total variation distance to $p$ is comparable to the best such distribution. This is a generalization of the classic problem of $k$-wise simple hypothesis testing, which corresponds to when $p \in \mathcal{Q}$, and we wish to identify $p$. Absent privacy constraints, this problem requires $O(\log k)$ samples from $p$, and it was recently shown that the same complexity is achievable under (central) differential privacy. However, the naive approach to this problem under local differential privacy would require $ ilde O(k^2)$ samples. We first show that the constraint of local differential privacy incurs an exponential increase in cost: any algorithm for this problem requires at least $Ω(k)$ samples. Second, for the special case of $k$-wise simple hypothesis testing, we provide a non-interactive algorithm which nearly matches this bound, requiring $ ilde O(k)$ samples. Finally, we provide sequentially interactive algorithms for the general case, requiring $ ilde O(k)$ samples and only $O(\log \log k)$ rounds of interactivity. Our algorithms are achieved through a reduction to maximum selection with adversarial comparators, a problem of independent interest for which we initiate study in the parallel setting. For this problem, we provide a family of algorithms for each number of allowed rounds of interaction $t$, as well as lower bounds showing that they are near-optimal for every $t$. Notably, our algorithms result in exponential improvements on the round complexity of previous methods.

研究动机与目标

• 解决在局部微差隐私（LDP）下从k个候选分布中选择一个良好分布的挑战，其中个体数据在传输前已被本地化私有化。
• 弥合中心化DP与本地化DP在假设选择中的差距，其中中心化DP可实现O(log k)的样本复杂度，但朴素的LDP方法需要O(k²)个样本。
• 开发接近LDP下k元简单假设检验理论下界Ω(k)样本复杂度的高效算法。
• 研究在并行设置下具有对抗性比较器的最大值选择问题，为不同轮次交互数量提供算法和紧致边界。

提出的方法

• 设计了一种适用于LDP下k元简单假设检验的非交互式算法，仅需Õ(k)个样本，几乎匹配Ω(k)的下界。
• 提出一种适用于一般假设选择的顺序交互式算法，仅需Õ(k)个样本和O(log log k)轮交互。
• 将一般假设选择问题约化为具有对抗性比较器的最大值选择问题，从而可应用新的算法技术。
• 采用递归锦标赛结构，通过精心选择的子集模拟问题的更小实例，确保隐私性和正确性。
• 使用概率分析和集中不等式（如切比雪夫不等式）来限制各轮失败概率，确保以高概率正确。
• 对交互轮数t进行归纳，证明任意t轮算法的成功概率至多为1/2 + O(3^t γ)，从而确立边界的紧致性。

实验结果

研究问题

• RQ1 在局部微差隐私下，假设选择的最优样本复杂度是多少？与中心化DP设置相比如何？
• RQ2 非交互式或低交互式算法能否在LDP下实现k元简单假设检验的近似最优样本复杂度？
• RQ3 在具有对抗性比较器的最大值选择背景下，交互轮数与样本复杂度之间的权衡是什么？
• RQ4 如何在隐私约束下将假设选择问题约化为具有对抗性比较器的并行最大值选择问题？
• RQ5 是否存在关于本地私有假设选择的样本复杂度和轮次复杂度的紧致下界？

主要发现

• 任何本地私有假设选择算法至少需要Ω(k)个样本，确立了LDP下样本复杂度的基本下界。
• 对于k元简单假设检验，非交互式算法实现了Õ(k)的样本复杂度，几乎匹配Ω(k)的下界。
• 对于一般假设选择问题，顺序交互式算法仅需Õ(k)个样本和O(log log k)轮交互，相较于先前方法在轮次复杂度上实现了指数级改进。
• 本文证明，所提出的具有对抗性比较器的最大值选择算法在每一轮交互数t下均为近似最优，具有紧致的上下界。
• 分析表明，任意t轮算法的成功概率至多为1/2 + O(3^t γ)，证明了所提算法的近似最优性。
• 将问题约化为具有对抗性比较器的最大值选择，使得在LDP下可设计高效、私有且可扩展的假设选择协议。