[论文解读] Differentially Private ADMM for Distributed Medical Machine Learning

Jiahao Ding, Xiaoqi Qin+4 more|arXiv (Cornell University)|Jan 7, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用 6

一句话总结

本文提出P-ADMM，一种用于分布式医疗机器学习的差异化私有交替方向乘子法（ADMM），通过在每轮迭代中注入方差线性递减的高斯噪声，实现动态零集中差分隐私（dynamic zCDP）。该方法在保持与非私有ADMM相同收敛速度（一般凸问题为O(1/K)，强凸问题为线性收敛）的同时，提供了强有力的隐私保障，并在真实世界医疗数据集上实证性能优于现有私有ADMM方法。

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

研究动机与目标

• 解决敏感数据存储于多个位置的分布式医疗机器学习中的隐私泄露问题。
• 设计一种在代理间迭代通信过程中保持差分隐私的分布式优化算法。
• 在提供强隐私保障的同时，保持标准ADMM的收敛特性。
• 在真实世界医疗数据集上，实证评估所提方法与现有差异化私有ADMM方法的性能表现。

提出的方法

• 提出P-ADMM，即ADMM的一种差异化私有变体，通过在每轮迭代中注入方差线性递减的高斯噪声，以确保动态零集中差分隐私（dynamic zCDP）。
• 引入一种噪声注入策略，使方差随迭代次数线性递减，以在隐私与收敛精度之间取得平衡。
• 对标准ADMM框架进行适配，使每个代理仅执行本地计算，并仅与邻居交换经过噪声处理的中间结果。
• 采用zCDP框架进行高级隐私会计，严格界定跨轮次的整体隐私损失。
• 采用隐私预算分配策略，确保累积隐私损失始终控制在用户定义的epsilon类边界之内。
• 保持与标准ADMM相同的算法结构，但在每个更新步骤中集成隐私保护的噪声注入机制。

实验结果

研究问题

• RQ1 能否设计一种分布式ADMM算法，在不牺牲收敛速度的前提下提供强有力的差分隐私保障？
• RQ2 噪声方差调度的选择如何影响迭代式分布式学习中隐私与模型精度之间的权衡？
• RQ3 在隐私约束下，所提方法是否能保持与非私有ADMM相同的收敛速率？
• RQ4 P-ADMM在真实医疗数据集上的性能与现有基于差异化私有ADMM的方法相比如何？

主要发现

• P-ADMM通过精心调度的、方差线性递减的高斯噪声，实现了动态零集中差分隐私（dynamic zCDP）。
• 该算法保持了与非私有ADMM相同的收敛速率：一般凸问题为O(1/K)，强凸问题为线性收敛。
• 在真实世界医疗数据集上的实证评估表明，P-ADMM在模型精度和收敛速度方面均优于现有基于差异化私有ADMM的方法。
• 通过zCDP会计方法有效管理了跨轮次的隐私预算，确保了严格的隐私保障。
• 该方法在数据分布且隐私至关重要的医疗机器学习场景中展现出强大的实际应用价值。