[论文解读] Differentially Private Empirical Risk Minimization with Input Perturbation

Kazuto Fukuchi, Quang Khai Tran+1 more|arXiv (Cornell University)|Oct 20, 2017

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种用于差分隐私经验风险最小化（DP-ERM）的新输入扰动框架，其中每位数据贡献者在提交前对其数据进行本地随机化，从而同时确保本地差分隐私（LDP）和模型的全局差分隐私（DP）。该方法在平滑损失条件下实现了 $O(1/n)$ 的过剩风险界，与当前最先进性能相当。

ABSTRACT

We propose a novel framework for the differentially private ERM, input perturbation. Existing differentially private ERM implicitly assumed that the data contributors submit their private data to a database expecting that the database invokes a differentially private mechanism for publication of the learned model. In input perturbation, each data contributor independently randomizes her/his data by itself and submits the perturbed data to the database. We show that the input perturbation framework theoretically guarantees that the model learned with the randomized data eventually satisfies differential privacy with the prescribed privacy parameters. At the same time, input perturbation guarantees that local differential privacy is guaranteed to the server. We also show that the excess risk bound of the model learned with input perturbation is $O(1/n)$ under a certain condition, where $n$ is the sample size. This is the same as the excess risk bound of the state-of-the-art.

研究动机与目标

• 为解决数据收集过程中隐私保障的缺口，通过在数据贡献者层面确保本地差分隐私（LDP）来补充模型级差分隐私（DP）。
• 开发一种框架，使数据贡献者可在提交前本地扰动其自身数据，而非依赖集中式数据收集。
• 理论保证基于扰动数据训练的模型满足 $(\alpha\epsilon,\delta)$-DP，同时通过 $(\beta\sqrt{\epsilon},\delta)$-LDP 保护数据贡献者的隐私。
• 实现与当前最先进 DP-ERM 方法相当的性能，具体表现为在平滑损失条件下达到 $O(1/n)$ 的过剩风险界。

提出的方法

• 每位数据贡献者独立使用均值为零、方差为 $\sigma^2$ 的高斯噪声对输入数据进行扰动，以确保本地差分隐私。
• 将扰动后的数据提交至中心服务器，由其在噪声输入上执行标准 ERM 以学习模型。
• 该框架利用高斯机制推导隐私保障：在适当的噪声缩放下，模型输出满足 $(\alpha\epsilon,\delta)$-DP。
• 理论分析表明，该扰动机制可同时确保数据贡献者层面的本地隐私与模型层面的全局隐私。
• 该方法利用正交变换和高斯随机变量的尾部概率界推导隐私参数。
• 建立了隐私参数 $\alpha$、$\beta$ 与样本量 $n$ 之间的权衡关系，满足 $O(\sqrt{\alpha n}) = \beta$。

实验结果

研究问题

• RQ1 能否设计一种差分隐私 ERM 框架，使得数据贡献者本地随机化其输入，同时确保本地与模型级差分隐私？
• RQ2 与集中式 DP-ERM 方法相比，输入扰动在过剩风险方面的性能权衡如何？
• RQ3 噪声方差 $\sigma^2$ 的选择如何影响输入扰动框架中隐私与模型效用之间的平衡？
• RQ4 在输入扰动下，所学模型的过剩风险能否达到与当前最先进 DP-ERM 方法相同的渐近率？
• RQ5 在输入扰动模型中，本地隐私参数 $\beta$ 与全局隐私参数 $\alpha$ 之间存在何种关系？

主要发现

• 输入扰动框架确保最终模型满足 $(\alpha\epsilon,\delta)$-差分隐私，其中 $\alpha$ 控制全局隐私预算。
• 通过 $(\beta\sqrt{\epsilon},\delta)$-LDP 确保每位数据贡献者的本地差分隐私，其中 $\beta$ 与隐私参数的平方根成比例。
• 使用输入扰动学习的模型的过剩风险为 $O\left(\frac{\eta\zeta\sqrt{d\log(1/\delta)}}{\epsilon\alpha n}\right)$，在平滑损失条件下与最先进水平相当。
• 在 $\lambda$-平滑二次损失假设下，该框架实现了与最佳现有 DP-ERM 方法相同的 $O(1/n)$ 过剩风险率。
• 理论分析证实，隐私保障通过高斯噪声的尾部概率界与正交变换技术得以成立。
• 该方法提供了本地与全局隐私之间的合理权衡，满足 $O(\sqrt{\alpha n}) = \beta$，支持可扩展且私密的学习。