[论文解读] Efficient Privacy-Preserving Nonconvex Optimization.

Lingxiao Wang, Bargav Jayaraman+2 more|arXiv (Cornell University)|Oct 30, 2019

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

本文提出了一种用于非凸经验风险最小化（ERM）的差分隐私随机梯度下降（DP-SGD）算法，通过减少梯度复杂度，实现了紧密的隐私与效用保障。该方法通过安全多方计算扩展至分布式设置，在保持强隐私性和效率的同时，实现了与集中式方法相当的性能，适用于真实数据集和基准数据集。

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains under challenging. In this paper, we study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. To achieve both efficiency and strong privacy guarantees with efficiency, we propose a differentially-private stochastic gradient descent algorithm for nonconvex ERM, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. We show that our proposed algorithm can substantially reduce gradient complexity while matching the best-known utility guarantee obtained by Wang et al. (2017). We extend our algorithm to the distributed setting using secure multi-party computation, and show that it is possible for a distributed algorithm to match the privacy and utility guarantees of a centralized algorithm in this setting. Our experiments on benchmark nonconvex ERM problems and real datasets demonstrate superior performance in terms of both training time and utility gains compared with previous differentially-private methods using the same privacy budgets.

研究动机与目标

• 弥合非凸经验风险最小化（ERM）在高效、隐私保护优化方面的空白，该领域相较于凸情况仍发展不足。
• 为非凸 ERM 设计一种平衡隐私、效用与计算效率的差分隐私随机梯度下降算法。
• 在非凸 DP-ERM 中实现迄今最佳的效用保障，同时与先前工作相比显著降低梯度复杂度。
• 通过安全多方计算（MPC）将集中式算法扩展至分布式设置，确保分布式协议能够匹配集中式方法的隐私与效用。
• 在固定隐私预算下，通过实证验证在基准数据集和真实非凸 ERM 问题中训练时间与效用的优越性。

提出的方法

• 提出一种专为非凸有限和最小化问题设计的新型差分隐私随机梯度下降（DP-SGD）算法。
• 引入一种精细化的隐私分析，利用高级组合定理紧密界定了隐私损失，从而在更少的梯度计算下实现更强的隐私保障。
• 通过仔细校准噪声注入与步长选择，优化梯度复杂度，以在保持效用的同时最小化梯度评估次数。
• 利用安全多方计算（MPC）实现分布式训练，避免暴露原始数据，确保去中心化环境下的端到端隐私。
• 设计一种通信高效的协议，确保在分布式设置中保留集中式算法的隐私与效用。
• 集成自适应学习率与梯度裁剪机制，以在非凸损失曲面中稳定训练，同时维持差分隐私。

实验结果

研究问题

• RQ1 与现有方法相比，是否能够实现强隐私保障与高实用性，同时显著降低梯度复杂度？
• RQ2 在相同隐私预算下，所提出的 DP-SGD 算法与 Wang 等人（2017）的最先进方法相比，在效用与效率方面表现如何？
• RQ3 是否能够设计一种基于安全多方计算的分布式 DP-ERM 算法，使其隐私与效用与集中式对应方法相当？
• RQ4 所提出方法在真实世界与基准非凸 ERM 数据集上，能在多大程度上减少训练时间并提升模型效用？
• RQ5 梯度复杂度的降低对差分隐私非凸优化的收敛性与泛化性能有何影响？

主要发现

• 所提出的 DP-SGD 算法在非凸 ERM 中实现了迄今最佳的效用保障，性能与 Wang 等人（2017）相当，同时显著降低了梯度复杂度。
• 该算法展现出卓越的训练效率，在基准数据集与真实数据集上均显著减少了训练时间，优于先前的差分隐私方法。
• 在分布式设置中，基于 MPC 的扩展成功匹配了集中式算法的隐私与效用，证明了在不损失性能的前提下可保持强隐私。
• 实证结果表明，在相同隐私预算下实现了可测量的效用提升，证实了该方法在实际非凸学习场景中的有效性。
• 精细化的隐私分析实现了更紧密的隐私会计，使噪声校准可更激进，从而提升模型性能。
• 该方法在大规模非凸问题上具有良好的可扩展性，在多种数据集与模型架构上均保持了强隐私与高实用性。