[论文解读] Improving the Privacy and Accuracy of ADMM-Based Distributed Algorithms

Xueru Zhang, Mohammad Mahdi Khalili+1 more|arXiv (Cornell University)|Jun 6, 2018

Privacy-Preserving Technologies in Data参考文献 25被引用 41

一句话总结

论文介绍了一种罚项扰动方法（带 PP 的私有 M-ADMM）以在基于 ADMM 的分布式学习中实现差分隐私，证明收敛性并通过对 Adult 数据集的实验显示相较于先前的对偶/原始扰动方法在隐私和准确性方面的提升。

ABSTRACT

Alternating direction method of multiplier (ADMM) is a popular method used to design distributed versions of a machine learning algorithm, whereby local computations are performed on local data with the output exchanged among neighbors in an iterative fashion. During this iterative process the leakage of data privacy arises. A differentially private ADMM was proposed in prior work (Zhang & Zhu, 2017) where only the privacy loss of a single node during one iteration was bounded, a method that makes it difficult to balance the tradeoff between the utility attained through distributed computation and privacy guarantees when considering the total privacy loss of all nodes over the entire iterative process. We propose a perturbation method for ADMM where the perturbed term is correlated with the penalty parameters; this is shown to improve the utility and privacy simultaneously. The method is based on a modified ADMM where each node independently determines its own penalty parameter in every iteration and decouples it from the dual updating step size. The condition for convergence of the modified ADMM and the lower bound on the convergence rate are also derived.

研究动机与目标

• 激发在数据分布在各节点上的基于 ADMM 的分布式学习中的隐私关注。
• 提出改进的 ADMM（M-ADMM），允许每个节点在每次迭代中私下选择其惩罚参数。
• 引入罚项扰动（PP）机制，在迭代过程中实现 ε-差分隐私。
• 证明私有算法的收敛性并给出收敛速率的下界。
• 通过实验演示增加私有惩罚可以同时提升隐私保障和效用，相较于先前的方法。

提出的方法

• 构建一个改进的 ADMM（M-ADMM），使每个节点在每次迭代中独立选择其惩罚参数 ηi(t+1)。
• 推导在节点私有罚项下的简化 ADMM 更新：通过扰动目标函数得到的 fi(t+1)（式（Eq. 10））和 λi(t+1)（式（Eq. 11）。
• 在标准凸性假设和网络拉普拉斯矩阵性质下，证明 M-ADMM 收敛到 ERM 最优解（定理 3.1、3.2）。
• 通过向罚项中添加随机向量 εi(t+1) 引入罚项扰动（PP）方案，从而得到私有原始更新（式（25））。
• 为迭代分布式过程定义 β-差分隐私保证（定义 4.1 和 定理 4.1）。
• 提供 PP 的算法 1，包括界定总隐私损失 β 的参数选择条件并确保收敛。

实验结果

研究问题

• RQ1 在每次迭代中使用节点私有的惩罚参数能否在不牺牲收敛性的情况下在 ADMM 中实现隐私保护？
• RQ2 罚项扰动机制如何影响整个迭代过程中的隐私损失与算法效用之间的权衡？
• RQ3 迭代中增加私有惩罚是否在隐私保障和准确性方面都优于现有的 DP-ADMM 方法？
• RQ4 在标准凸性和 Lipschitz 假设下，所提出的私有 M-ADMM 的收敛条件和速率界限是什么？

主要发现

• 在凸性和有界性假设下，带节点私有罚项的改进 ADMM 收敛到 ERM 最优解（定理 3.1 和 3.2）。
• 罚项扰动结合私有 ηi(t) 同时提高隐私和准确性，实验显示相比于先前的对偶变量扰动（DVP）方法具有更好的稳定性和更高的准确性。
• 迭代中增加私有罚项参数可以增强对噪声的鲁棒性，从而在 accuracy 和 privacy 上共同改善（图 1–2）。
• PP 方法在 T 次迭代中实现 β-差分隐私，其界限随节点数据大小和迭代次数的增加而扩展（定理 4.1）。
• 在 Adult 数据集、逻辑损失下的实证结果表明，合适的 PP 设置在不同规模的网络中在准确性和隐私方面均优于 DVP（图 2–4）。
• 该技术不仅适用于分类，还推广到其他基于 ADMM 的分布式算法，在那里收敛性和隐私分析成立。