[论文解读] Collecting and Analyzing Multidimensional Data with Local Differential Privacy

Ning Wang, Xiaokui Xiao+6 more|arXiv (Cornell University)|Jun 28, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用 39

一句话总结

论文引入两种新的 LDP 机制（Piecewise Mechanism 和 Hybrid Mechanism）用于收集数值和多维数据，分析它们的最坏情况误差，并将它们应用于用于机器学习任务的符合 LDP 的 SGD。

ABSTRACT

Local differential privacy (LDP) is a recently proposed privacy standard for collecting and analyzing data, which has been used, e.g., in the Chrome browser, iOS and macOS. In LDP, each user perturbs her information locally, and only sends the randomized version to an aggregator who performs analyses, which protects both the users and the aggregator against private information leaks. Although LDP has attracted much research attention in recent years, the majority of existing work focuses on applying LDP to complex data and/or analysis tasks. In this paper, we point out that the fundamental problem of collecting multidimensional data under LDP has not been addressed sufficiently, and there remains much room for improvement even for basic tasks such as computing the mean value over a single numeric attribute under LDP. Motivated by this, we first propose novel LDP mechanisms for collecting a numeric attribute, whose accuracy is at least no worse (and usually better) than existing solutions in terms of worst-case noise variance. Then, we extend these mechanisms to multidimensional data that can contain both numeric and categorical attributes, where our mechanisms always outperform existing solutions regarding worst-case noise variance. As a case study, we apply our solutions to build an LDP-compliant stochastic gradient descent algorithm (SGD), which powers many important machine learning tasks. Experiments using real datasets confirm the effectiveness of our methods, and their advantages over existing solutions.

研究动机与目标

• 激发并解决在本地差分隐私（LDP）下收集多维数据的空缺问题。
• 开发在 ε-LDP 条件下对数值属性实现更好最坏情况下的噪声方差的机制。
• 将单属性机制扩展到多维数值和分类型数据，提供强隐私-效用保证。
• 通过构建一个符合 LDP 的随机梯度下降（SGD）流水线，为机器学习任务提供案例研究。

提出的方法

• 提出 Piecewise Mechanism (PM) 以 ε-LDP 下对单个数值属性，输出有界且数据依赖的分段噪声。
• 开发 Hybrid Mechanism (HM)，将 PM 与 Duchi 等人的方法结合以最小化最坏情况方差。
• 通过选择一个属性子集并以调整后的隐私预算对其进行扰动，将 PM 和 HM 扩展到多维数据（Algorithm 4）。
• 提供处理数值和分类型属性混合的扩展（Section IV-C）。
• 分析 PM、HM 及现有方法的最坏情况方差，在多维设定下建立渐近最优性。
• 展示一个使用所提出机制的符合 LDP 的 SGD 框架，应用于线性/逻辑回归和 SVM。

实验结果

研究问题

• RQ1 在 ε-本地差分隐私下，如何收集数值数据并在精度上优于 Laplace 或现有方法？
• RQ2 PM 和 HM 是否能扩展到多维数值与分类型数据，并实现渐近最优的误差界？
• RQ3 在 LDP 下，所提出的机制在统计估计和基于梯度的学习任务中的实际表现如何？
• RQ4 在高维数据中，属性采样（Algorithm 4）对隐私-效用权衡的影响是多少？
• RQ5 这些机制能否有效整合到常见机器学习模型的符合 LDP 的 SGD 框架中？

主要发现

• PM 在单维数据上实现的最坏情况噪声方差低于 Laplace，且在 ε ≥ ~1.29 时常常优于 Duchi 等人的方法。
• HM 在各个 ε 范围内的最坏情况方差始终不劣于 PM 和 Duchi 等人的方法，且通常更好。
• 对多维数值数据的扩展（Algorithm 4）在渐近意义上达到最优误差（匹配 Duchi 等人的界限），实现更简单。
• 所提出的多维机制对数值与分类型属性的混合数据也具备强隐私保障。
• 基于 PM/HM 组件构建的符合 LDP 的 SGD 算法在真实数据集上显示出在线性/逻辑回归和 SVM 等任务的有效性。