[论文解读] Differentially Private ADMM for Convex Distributed Learning: Improved Accuracy via Multi-Step Approximation

Zonghao Huang, Yanmin Gong|arXiv (Cornell University)|May 16, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用 7

一句话总结

本文提出了一种用于凸分布式学习的差分隐私ADMM算法，通过多步近似更新和校准的噪声注入，提升了实用性。通过在每次迭代中允许多次原始变量更新，并利用局部目标函数近似，该方法在渐近意义上实现了与最先进差分隐私经验风险最小化相当的误差界，显著改善了隐私-实用性权衡。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) is a popular algorithm for distributed learning, where a network of nodes collaboratively solve a regularized empirical risk minimization by iterative local computation associated with distributed data and iterate exchanges. When the training data is sensitive, the exchanged iterates will cause serious privacy concern. In this paper, we aim to propose a new differentially private distributed ADMM algorithm with improved accuracy for a wide range of convex learning problems. In our proposed algorithm, we adopt the approximation of the objective function in the local computation to introduce calibrated noise into iterate updates robustly, and allow multiple primal variable updates per node in each iteration. Our theoretical results demonstrate that our approach can obtain higher utility by such multiple approximate updates, and achieve the error bounds asymptotic to the state-of-art ones for differentially private empirical risk minimization.

研究动机与目标

• 为解决在训练数据敏感时保护分布式ADMM中隐私的挑战。
• 改进凸优化问题中差分隐私分布式学习的隐私-实用性权衡。
• 设计一种在确保差分隐私的同时保持强收敛保证的算法，通过稳健的噪声校准实现。
• 证明每次迭代中多次近似更新可提升实用性而不牺牲隐私。

提出的方法

• 提出一种新颖的差分隐私ADMM框架，该框架在每次ADMM迭代中为每个节点执行多次近似原始变量更新。
• 利用局部目标函数近似，稳健地将校准后的噪声集成到迭代更新中。
• 采用随时间变化的高斯噪声并分配隐私预算，以确保(ε,δ)-差分隐私。
• 应用多步更新策略，即每个节点在每次ADMM迭代中执行l次近似更新，以提升收敛性和实用性。
• 在强凸性和Lipschitz梯度假设下，推导出过剩经验风险与可行性违反的理论界。
• 集成对偶变量更新和惩罚参数动态调整，以在噪声存在下保持收敛稳定性。

实验结果

研究问题

• RQ1 在每次ADMM迭代中，每个节点执行多次近似更新是否能提升差分隐私分布式学习的实用性？
• RQ2 局部目标函数近似如何在保持收敛性的同时实现稳健的噪声注入？
• RQ3 与最先进差分隐私经验风险最小化相比，所提方法的理论误差界是什么？
• RQ4 是否能在不牺牲收敛速度的前提下显著改善隐私-实用性权衡？
• RQ5 多步更新策略如何影响过剩经验风险与可行性违反？

主要发现

• 所提算法在渐近意义上实现了与最先进差分隐私经验风险最小化相当的过剩经验风险界。
• 误差界随t次迭代和每轮l次近似更新呈O(1/√(t·l))的尺度，优于单次更新方法。
• 理论分析证实，通过减少噪声对收敛的影响，每次迭代中的多次更新可提升实用性。
• 通过基于局部梯度和数据敏感性的精细校准噪声注入，该方法保持了(ε,δ)-差分隐私。
• 在真实世界数据集上的数值实验表明，与DP-ADMM和Recycled ADMM等先前工作相比，隐私-实用性权衡得到显著改善。
• 在标准假设下，过剩经验风险的收敛速率为O(1/√t)，与私有优化的已知界一致。