[论文解读] Differentially Private Online Learning

Prateek Jain, Pravesh K. Kothari+1 more|arXiv (Cornell University)|Sep 1, 2011

Privacy-Preserving Technologies in Data参考文献 26被引用 17

一句话总结

本文提出了一种通用框架，用于在在线凸规划（OCP）设置下实现差分隐私在线学习，将非私有的OCP算法转化为具有次线性遗憾的差分隐私变体。该框架引入了私有的IGD和GIGA算法，其遗憾为$ ilde{O}(ackslashackslashsqrtackslashackslash{ T })$，并针对二次代价函数设计了专用算法，实现$O(\log^{1.5}T)$的遗憾，同时还将该方法扩展至离线学习，获得了更优的误差界。

ABSTRACT

In this paper, we consider the problem of preserving privacy in the online learning setting. We study the problem in the online convex programming (OCP) framework---a popular online learning setting with several interesting theoretical and practical implications---while using differential privacy as the formal privacy measure. For this problem, we distill two critical attributes that a private OCP algorithm should have in order to provide reasonable privacy as well as utility guarantees: 1) linearly decreasing sensitivity, i.e., as new data points arrive their effect on the learning model decreases, 2) sub-linear regret bound---regret bound is a popular goodness/utility measure of an online learning algorithm. Given an OCP algorithm that satisfies these two conditions, we provide a general framework to convert the given algorithm into a privacy preserving OCP algorithm with good (sub-linear) regret. We then illustrate our approach by converting two popular online learning algorithms into their differentially private variants while guaranteeing sub-linear regret ($O(\sqrt{T})$). Next, we consider the special case of online linear regression problems, a practically important class of online learning problems, for which we generalize an approach by Dwork et al. to provide a differentially private algorithm with just $O(\log^{1.5} T)$ regret. Finally, we show that our online learning framework can be used to provide differentially private algorithms for offline learning as well. For the offline learning problem, our approach obtains better error bounds as well as can handle larger class of problems than the existing state-of-the-art methods Chaudhuri et al.

研究动机与目标

• 为解决实时在线学习系统在处理敏感数据时保护用户隐私的挑战。
• 开发一种通用方法，将任意OCP算法转换为差分隐私变体，同时保持强大的效用保证。
• 在一般OCP问题下，实现次线性遗憾（$\tilde{O}(\sqrt{T})$）的$(\epsilon,\delta)$-差分隐私。
• 将该框架扩展至离线学习问题，改进现有最先进方法的误差界。
• 探索在特定情况下（如二次代价函数）实现对数遗憾的可能性。

提出的方法

• 该框架依赖于两个关键特性：随时间推移数据点的敏感度线性递减，以及原始算法中次线性遗憾界。
• 在每个时间步使用输出扰动，并通过严格控制敏感度以确保$(\epsilon,\delta)$-差分隐私。
• 通过在每一步添加与算法输出敏感度成比例的噪声，构建IGD和GIGA的私有版本。
• 对于二次代价函数，该方法推广了先前工作，在隐私约束下实现$O(\log^{1.5}T)$的遗憾。
• 通过将离线问题视为一系列在线更新，将该方法扩展至离线学习，获得了优于先前方法的误差界。
• 理论分析界定了模型更新的敏感度，并证明了扰动输出满足差分隐私。

实验结果

研究问题

• RQ1 能否设计一种通用框架，将非私有的OCP算法转化为具有强遗憾保证的差分隐私变体？
• RQ2 在在线学习中确保隐私与效用，所需的最小程序属性（如敏感度衰减、遗憾界）是什么？
• RQ3 对于一般强凸函数，能否将差分隐私在线学习的遗憾改进至$ ilde{O}(\sqrt{T})$以下？
• RQ4 在特定函数类（如二次损失）下，能否在差分隐私在线学习中实现对数遗憾？
• RQ5 所提出的在线私有学习框架能否有效扩展至离线凸学习问题，并获得改进的误差界？

主要发现

• 私有的IGD和GIGA算法在一般OCP问题下实现了$\tilde{O}(\sqrt{T})$的遗憾，同时保证了$(\epsilon,\delta)$-差分隐私。
• 对于二次代价函数这一特殊情况，所提算法实现了$O(\log^{1.5}T)$的遗憾，显著优于一般情况下的$\tilde{O}(\sqrt{T})$界限。
• 在Year Prediction数据集上，PQFTL算法在高隐私水平（$\epsilon = 0.01$）下仍实现了约$10^{-2}$数量级的遗憾，表现出强大的效用。
• 在Forest Cover-type数据集上，PIGD算法在$\epsilon = 0.1$时仍保持超过58%的分类准确率，表明可在私密条件下学习到有意义的模型。
• 该框架可扩展至离线学习，在更广泛的凸问题类别中，其误差界优于最先进方法[3]。
• 实验结果表明，随着$\epsilon$减小，遗憾和模型准确率呈渐进式下降，表明隐私与效用之间存在实际的权衡。