[论文解读] Dopamine: Differentially Private Federated Learning on Medical Data

Mohammad Malekzadeh, Burak Hasırcıoglu+4 more|arXiv (Cornell University)|Jan 27, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 42

一句话总结

Dopamine 将联邦学习与差分隐私随机梯度下降和安全聚合相结合，在分布式医学影像上训练深度神经网络，获得接近集中DP的隐私保证，并在平行DP的标准FL上实现更高的准确性。

ABSTRACT

While rich medical datasets are hosted in hospitals distributed across the world, concerns on patients' privacy is a barrier against using such data to train deep neural networks (DNNs) for medical diagnostics. We propose Dopamine, a system to train DNNs on distributed datasets, which employs federated learning (FL) with differentially-private stochastic gradient descent (DPSGD), and, in combination with secure aggregation, can establish a better trade-off between differential privacy (DP) guarantee and DNN's accuracy than other approaches. Results on a diabetic retinopathy~(DR) task show that Dopamine provides a DP guarantee close to the centralized training counterpart, while achieving a better classification accuracy than FL with parallel DP where DPSGD is applied without coordination. Code is available at https://github.com/ipc-lab/private-ml-for-health.

研究动机与目标

• 在分布式医学数据集上训练 DNN 时激发隐私关注。
• 开发基于 FL 的训练框架，为记录级 DP 提供差分隐私保证。
• 利用安全聚合和带动量的 DPSGD 改善隐私-效用权衡。
• 在糖尿病视网膜病变任务中提供理论隐私保证和实证评估。

提出的方法

• 提出 Dopamine，这是一个为带有安全聚合的 FL 定制的 DPSGD。
• 将每个样本梯度裁剪到界限 C，并添加尺度为 sigma 的高斯噪声。
• 在梯度更新中使用动量以提高准确性。
• 使用 Moments Accountant (MA) 跟踪每轮的隐私损失以执行 (epsilon, delta)-DP。
• 在安全聚合下，展示对服务器的记录级 DP 和对医院的 DP。
• 在糖尿病视网膜病变数据集上进行评估，使用 SqueezeNet 作为基础模型。

实验结果

研究问题

• RQ1 Dopamine 能否在分布式医疗数据的联邦训练期间提供记录级 DP 保证？
• RQ2 安全聚合是否能够实现比使用 DPSGD 的标准 FL 更接近集中式 DP 的隐私-效用权衡？
• RQ3 在每轮使用 MA 的隐私记账以及引入动量如何影响模型准确性和隐私损失？

主要发现

• Dopamine 在隐私边界方面接近集中训练（CDP），且在早期轮次往往表现更好。
• 在相同隐私水平下，Dopamine 的分类准确性高于具有并行 DP（FPDP）的 FL。
• 安全聚合降低了每家医院的噪声负担，相较于 FPDP 提高了效用。
• 与非私有 FL 相比，Dopamine 保持了竞争力的准确性，同时提供正式的 DP 保证。
• 在所述设定中，该方法对服务器保证 (epsilon, delta)-DP，对医院保证 (epsilon*sqrt(K/(K-1)), delta)-DP。