[论文解读] Bolt-on Differential Privacy for Scalable Stochastic Gradient Descent-based Analytics

Xi Wu, Fengan Li+4 more|arXiv (Cornell University)|Jun 15, 2016

Privacy-Preserving Technologies in Data被引用 12

一句话总结

本文提出了一种新颖的‘即插即用’差分隐私方法，用于随机梯度下降（SGD），仅在输出阶段注入噪声，从而实现与现有可扩展分析系统（如 Bismarck）的无缝集成，且开销极低。通过引入对 SGD 中 $L_2$-敏感度的新型分析方法，该方法在相同隐私预算下实现了显著更高的模型准确率——最高可达现有最先进私有 SGD 算法的 4 倍，尤其在恒定遍历次数的场景下表现更优。

ABSTRACT

While significant progress has been made separately on analytics systems for scalable stochastic gradient descent (SGD) and private SGD, none of the major scalable analytics frameworks have incorporated differentially private SGD. There are two inter-related issues for this disconnect between research and practice: (1) low model accuracy due to added noise to guarantee privacy, and (2) high development and runtime overhead of the private algorithms. This paper takes a first step to remedy this disconnect and proposes a private SGD algorithm to address \emph{both} issues in an integrated manner. In contrast to the white-box approach adopted by previous work, we revisit and use the classical technique of {\em output perturbation} to devise a novel "bolt-on" approach to private SGD. While our approach trivially addresses (2), it makes (1) even more challenging. We address this challenge by providing a novel analysis of the $L_2$-sensitivity of SGD, which allows, under the same privacy guarantees, better convergence of SGD when only a constant number of passes can be made over the data. We integrate our algorithm, as well as other state-of-the-art differentially private SGD, into Bismarck, a popular scalable SGD-based analytics system on top of an RDBMS. Extensive experiments show that our algorithm can be easily integrated, incurs virtually no overhead, scales well, and most importantly, yields substantially better (up to 4X) test accuracy than the state-of-the-art algorithms on many real datasets.

研究动机与目标

• 解决理论上的差分隐私 SGD 进展与其实现在可扩展分析系统中实际应用之间的脱节问题。
• 降低现有私有 SGD 算法因需深度代码修改而带来的高开发与运行时开销。
• 在严格的隐私预算和有限的数据遍历次数下提升模型准确率，这在现实应用中十分常见。
• 实现差分隐私在现有数据库内 SGD 系统中的轻松集成，而无需修改核心梯度更新逻辑。
• 提供一种理论坚实且实用的方法，在保持可扩展性的同时实现强隐私保障。

提出的方法

• 该方法采用输出扰动，将 SGD 实现视为黑箱，仅在最终模型参数处添加噪声。
• 提出对 SGD 的 $L_2$-敏感度的新型分析，使得在相同隐私预算下能够获得更紧的噪声幅度边界。
• 利用梯度算子的展开特性来改善收敛性，尤其在仅允许恒定数量数据遍历的情况下表现更优。
• 将该算法无缝集成到 Bismarck 系统中——一个可扩展的数据库内 SGD 分析系统，且无需修改底层 SGD 引擎。
• 仅在训练结束时一次性注入噪声，避免重复采样噪声，从而降低运行时开销。
• 通过网格搜索调整学习率、小批量大小和 $L_2$ 正则化等超参数，且对遍历次数的敏感度极低。

实验结果

研究问题

• RQ1 能否设计一种‘即插即用’的差分隐私机制用于 SGD，而无需修改核心训练逻辑？
• RQ2 如何对 SGD 的 $L_2$-敏感度进行更紧密的分析，以在恒定遍历约束下提升模型准确率？
• RQ3 当仅允许恒定数量的数据遍历时，能否使输出扰动在私有 SGD 中依然有效？
• RQ4 与白盒、迭代式噪声注入相比，黑盒、事后噪声注入方法在模型准确率和系统开销方面是否更具优势？
• RQ5 此类方法能否在真实世界中的数据库内分析平台（如 Bismarck）中高效集成，且不造成性能下降？

主要发现

• 所提出的即插即用方法在真实数据集上，即使仅进行恒定数量的数据遍历，其测试准确率也比 SCS13 和 BST14 高达 4 倍。
• 该方法几乎不引入运行时开销，且具有良好的可扩展性，保持了底层 SGD 系统的性能特征。
• 与以往工作相比，该算法更加稳定且易于调优，仅需设置小批量大小和 $L_2$ 正则化作为关键超参数。
• 新型 $L_2$-敏感度分析使得在相同隐私预算下收敛性更优，尤其在低遍历次数场景下表现突出。
• 在 Bismarck 中的集成过程完全无缝，核心 SGD 引擎无需任何代码修改，充分证明了其实际可行性。
• 理论上已证明单次遍历下的收敛性，但该方法在多轮遍历中表现出强大的经验收敛性，甚至在实践中优于 BST14。