[论文解读] Differentially Private Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|Nov 30, 2017

Privacy-Preserving Technologies in Data参考文献 16被引用 3

一句话总结

本文提出了差分隐私正则化（DPD），一种新颖的技术，利用高斯 dropout 中固有的噪声，通过集中式差分隐私（zCDP）提供正式的隐私保障。通过结合 zCDP 的组合机制与子采样带来的隐私放大效应，DPD 在 MNIST 和 DIGITS 基准测试中显著提升了准确率，尤其在低隐私预算条件下，相较于标准差分隐私方法和当前最先进方法表现更优。

ABSTRACT

Large data collections required for the training of neural networks often contain sensitive information such as the medical histories of patients, and the privacy of the training data must be preserved. In this paper, we introduce a dropout technique that provides an elegant Bayesian interpretation to dropout, and show that the intrinsic noise added, with the primary goal of regularization, can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving dropout algorithm on benchmark datasets.

研究动机与目标

• 通过利用 dropout 的内在随机性，为使用 dropout 训练的深度神经网络提供正式的隐私保障。
• 通过采用集中式差分隐私（zCDP）替代标准差分隐私，解决迭代训练中累积隐私损失的挑战。
• 通过在训练迭代过程中高效分配隐私预算，改善差分隐私深度学习中的效用-隐私权衡。
• 证明正则化中传统的 dropout 技术可同时提升模型准确率并提供可度量的差分隐私。

提出的方法

• 该方法采用每权重独立设置的高斯 dropout，支持贝叶斯解释并实现内在噪声注入。
• 应用 zCDP 组合分析，对多次训练迭代中的累积隐私损失进行紧密边界约束。
• 利用子采样实现隐私放大，以减少达到相同隐私保障所需的加性噪声量。
• 该方法与随机梯度下降（SGD）兼容，并采用梯度裁剪控制敏感度。
• 该框架与标准神经网络架构兼容，无需修改网络结构。
• 采用矩量会计技术进行隐私会计，该技术与 zCDP 密切相关。

实验结果

研究问题

• RQ1 能否正式利用 dropout 的内在噪声，为深度神经网络中的差分隐私提供保障？
• RQ2 与标准差分隐私相比，zCDP 如何更高效地管理迭代训练中的隐私预算累积？
• RQ3 在低预算设置下，dropout 在保持隐私的前提下，能在多大程度上提升模型准确率？
• RQ4 子采样与 zCDP 的结合如何在不损害隐私的前提下降低噪声需求？

主要发现

• 在 ε=10 时，DPD-zCDP 在 MNIST 上达到 97.18% 的测试准确率，在 DIGITS 上达到 95.18%，优于标准 DP 和当前最先进方法。
• 在 ε=0.5 时，DPD-zCDP 在 MNIST 上达到 92.05% 的准确率，在 DIGITS 上达到 91.25%，显著优于 Abadi 等人（2016）和 SGLD-zCDP 方法。
• 该方法对超参数变化具有鲁棒性，最佳性能出现在 1000 个隐层单元、200 个周期和 600 的小批量大小时。
• zCDP 提升了隐私预算效率，使得在保持相当隐私保障的前提下，所需噪声水平低于标准 DP。
• 即使在低隐私预算下，模型仍保持高准确率，DPD-zCDP 在 ε=0.5 时相比基线 DP 方法表现出 2.5–3% 的准确率优势。