[论文解读] Locally Differentially Private Data Collection and Analysis

Teng Wang, Jun Zhao+2 more|arXiv (Cornell University)|Jun 5, 2019

Privacy-Preserving Technologies in Data参考文献 56被引用 8

一句话总结

本文提出了针对多维数值型与类别型数据的新型局部差分隐私（LDP）机制，在 $(\epsilon,\delta)$-LDP 模型下实现比现有基于高斯机制的方法更高的数据效用。所提出的机制在统计估计与机器学习任务中均优于最优高斯机制，在强隐私保障下显著提升了均值/频率估计与模型准确率。

ABSTRACT

Local differential privacy (LDP) can provide each user with strong privacy guarantees under untrusted data curators while ensuring accurate statistics derived from privatized data. Due to its powerfulness, LDP has been widely adopted to protect privacy in various tasks (e.g., heavy hitters discovery, probability estimation) and systems (e.g., Google Chrome, Apple iOS). Although $ε$-LDP has been proposed for many years, the more general notion of $(ε, δ)$-LDP has only been studied in very few papers, which mainly consider mean estimation for numeric data. Besides, prior solutions achieve $(ε, δ)$-LDP by leveraging Gaussian mechanism, which leads to low accuracy of the aggregated results. In this paper, we propose novel mechanisms that achieve $(ε, δ)$-LDP with high utility in data analytics and machine learning. Specifically, we first design $(ε, δ)$-LDP algorithms for collecting multi-dimensional numeric data, which can ensure higher accuracy than the optimal Gaussian mechanism while guaranteeing strong privacy for each user. Then, we investigate different local protocols for categorical attributes under $(ε, δ)$-LDP. Furthermore, we conduct theoretical analysis on the error bound and variance of the proposed algorithms. Experimental results on real and synthetic datasets demonstrate the high data utility of our proposed algorithms on both simple data statistics and complex machine learning models.

研究动机与目标

• 为在不可信数据管理员设置下多维数据缺乏有效的 $(\epsilon,\delta)$-LDP 机制的问题提供解决方案。
• 通过设计优于高斯机制的机制，提升局部差分隐私中的数据效用，适用于数值型与类别型属性。
• 在 $(\epsilon,\delta)$-LDP 下实现准确的统计估计与机器学习，同时提供理论误差与方差边界。
• 在真实与合成数据集上，通过多样化分析与机器学习工作负载，证明所提机制的实际优越性。

提出的方法

• 针对多维数值型数据，在 $(\epsilon,\delta)$-LDP 下提出 Mechanism-1 与 Mechanism-2，采用定制化噪声注入策略以最小化方差。
• 为类别型属性设计本地化协议，在 $(\epsilon,\delta)$-LDP 下将多值类别转换为二值向量，实现高效隐私化处理。
• 采用基于随机响应的方法处理类别型数据，确保强隐私性的同时保持数据效用。
• 将所提机制集成至随机梯度下降（SGD）中，用于在本地隐私保护下训练机器学习模型。
• 理论分析推导出所提机制的渐近误差边界与最小方差特性。
• 采用领域特定的噪声校准方法，在不依赖高斯机制的前提下平衡隐私与效用。

实验结果

研究问题

• RQ1 能否为多维数值型数据设计出在效用上优于最优高斯机制的 $(\epsilon,\delta)$-LDP 机制？
• RQ2 如何在 $(\epsilon,\delta)$-LDP 下高效且私密地编码类别型属性，以保持数据效用？
• RQ3 与现有方法相比，所提机制在均值与频率估计中的准确率提升程度如何？
• RQ4 所提机制能否在本地隐私保护下支持复杂机器学习模型（如线性回归、逻辑回归与SVM）并保持高数据效用？
• RQ5 在 $(\epsilon,\delta)$-LDP 下，所提机制的理论误差与方差行为如何？

主要发现

• 在线性回归中，Mechanism-1 与 Mechanism-2 的均方误差（MSE）显著低于最优高斯机制（Opt-GM），尤其在 $\epsilon$ 增大时表现更优。
• 在逻辑回归与SVM分类任务中，所提机制的误分类率远比 Opt-GM 更接近非私有基线，尤其当 $\epsilon \geq 5$ 时表现更佳。
• 在合成数据上，所提机制在不同域大小 $k$ 下均展现出更优的频率估计准确率，误差低于 Opt-GM。
• 理论分析证实，所提机制实现了低渐近误差边界与最小方差，理论上优于高斯机制。
• 在真实数据集（MX 与 BR）上的实验结果表明，所有三项学习任务在不同隐私预算下均表现出一致的模型准确率提升。
• 即使在低 $\epsilon$ 值下，所提机制仍保持高数据效用，当 $\epsilon$ 较大时，性能趋近于非私有基线。