[论文解读] Classification under local differential privacy

Thomas B. Berrett, Cristina Butucea|arXiv (Cornell University)|Dec 10, 2019

Privacy-Preserving Technologies in Data参考文献 14被引用 9

一句话总结

本文提出了一种适用于欧氏空间中二分类任务的非交互式、$α$-局部差分隐私机制，并在该隐私约束下构建了普遍一致的分类器。研究建立了超出风险的极小极大收敛速率，其速度慢于非私有设置下的情况，且明确体现了对隐私水平 $α$、维度 $d$、光滑性 $β$ 以及边界参数 $γ$ 的依赖，展示了局部隐私在分类任务中的统计代价。

ABSTRACT

We consider the binary classification problem in a setup that preserves the privacy of the original sample. We provide a privacy mechanism that is locally differentially private and then construct a classifier based on the private sample that is universally consistent in Euclidean spaces. Under stronger assumptions, we establish the minimax rates of convergence of the excess risk and see that they are slower than in the case when the original sample is available.

研究动机与目标

• 为解决局部差分隐私（LDP）下二分类任务缺乏统计推断框架的问题。
• 设计一种适用于欧氏空间中分类任务的非交互式、$α$-LDP 隐私机制。
• 在该隐私机制下构建一个普遍一致的分类器。
• 推导在 LDP 下超出风险的极小极大收敛速率，量化隐私带来的统计代价。
• 阐明光滑性（$β$）、边界条件（$\gamma$）以及隐私水平（$α$）对估计精度的影响。

提出的方法

• 提出一种非交互式隐私机制，其中每个数据点 $(X_i, Y_i)$ 独立地通过满足 $\alpha$-LDP 的马尔可夫核 $Q_i$ 进行隐私化处理。
• 通过使用有界且 Hölder-光滑的函数 $\phi$ 并乘以一个较小常数 $C_\phi$，定义隐私机制，以确保隐私性和光滑性。
• 仅基于已隐私化的数据 $Z_1, \dots, Z_n$ 构建分类器，确保在 $\mathbb{R}^d$ 中具有普遍一致性。
• 采用包含 $2^m$ 个分布 $P_\sigma$ 的测试框架，其中 $\sigma \in \{-1,+1\}^m$，每个分布具有不同的回归函数 $\eta_\sigma$。
• 利用似然比界和总变差距离，通过 $d_{\text{TV}}(M_{+k}^{(n)}, M_{-k}^{(n)})$ 对超出风险进行下界估计。
• 应用 Pinsker 不等式以及 Duchi 等人（2013）提出的 KL 散度界，将隐私损失与统计估计误差关联起来。

实验结果

研究问题

• RQ1 在欧氏空间中，能否在局部差分隐私下构建一个普遍一致的分类器？
• RQ2 在 $\alpha$-LDP 下，二分类任务中超出风险的极小极大收敛速率是什么？
• RQ3 隐私水平 $\alpha$ 相较于非私有情形，如何影响分类的统计效率？
• RQ4 光滑性（$\beta$）和边界（$\gamma$）条件在隐私约束下对极小极大速率有何作用？
• RQ5 在分类任务中，隐私与统计精度之间是否存在根本性权衡？若有，如何量化？

主要发现

• 构建了一个非交互式 $\alpha$-LDP 机制，该机制在保持隐私的同时，可在 $\mathbb{R}^d$ 上实现分类任务的普遍一致性。
• 证明了超出风险的极小极大收敛速率为 $(n\alpha^2)^{-\frac{\beta(1+\gamma)}{2\beta+2d}}$，该速率慢于经典非私有情形下的速率。
• 该速率依赖于光滑性 $\beta \in [0,1]$、边界参数 $\gamma$、维度 $d$ 以及隐私水平 $\alpha$。
• 通过在 $2^m$ 个分布上构建测试框架，其中 $m \approx q^{d-\beta\gamma}$，$q$ 被调节以平衡隐私与估计误差，推导出下界。
• 分析结果确认了隐私存在的根本性统计代价：即使在最优设计下，由于隐私约束的存在，速率仍会退化，且明确依赖于 $n\alpha^2$。
• 该结果在标准假设下成立，包括回归函数的 Hölder 光滑性以及参数为 $\gamma$ 的边界条件。