[论文解读] Differentially Private Variational Dropout

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|Nov 30, 2017

Privacy-Preserving Technologies in Data参考文献 17被引用 3

一句话总结

本文提出了一种差异隐私变分丢弃（DPVD），利用变分丢弃中的固有噪声，在深度神经网络中提供正式的隐私保障。通过采用集中式差分隐私（zCDP）和通过子采样实现的隐私放大，该方法在MNIST和DIGITS数据集上相比标准差分隐私和最先进方法，在低隐私预算下显著提升了准确率。

ABSTRACT

Deep neural networks with their large number of parameters are highly flexible learning systems. The high flexibility in such networks brings with some serious problems such as overfitting, and regularization is used to address this problem. A currently popular and effective regularization technique for controlling the overfitting is dropout. Often, large data collections required for neural networks contain sensitive information such as the medical histories of patients, and the privacy of the training data should be protected. In this paper, we modify the recently proposed variational dropout technique which provided an elegant Bayesian interpretation to dropout, and show that the intrinsic noise in the variational dropout can be exploited to obtain a degree of differential privacy. The iterative nature of training neural networks presents a challenge for privacy-preserving estimation since multiple iterations increase the amount of noise added. We overcome this by using a relaxed notion of differential privacy, called concentrated differential privacy, which provides tighter estimates on the overall privacy loss. We demonstrate the accuracy of our privacy-preserving variational dropout algorithm on benchmark datasets.

研究动机与目标

• 解决在保持模型准确率的同时保护深度神经网络中敏感训练数据的挑战。
• 通过利用其内在随机化作为隐私机制，正式形式化变分丢弃中的隐私保障。
• 通过使用集中式差分隐私（zCDP）而非标准差分隐私，减少迭代训练中的累积隐私损失。
• 通过结合zCDP与子采样及自适应丢弃率，提升在严格隐私预算下的模型效用。
• 在基准数据集上实证验证该方法，并与现有DP方法相比展示出更优性能。

提出的方法

• 扩展变分丢弃，以允许每个权重使用独立的丢弃率，从而实现细粒度正则化和隐私控制。
• 将变分丢弃中随机前向和反向传播产生的固有噪声作为差分隐私的来源。
• 应用集中式差分隐私（zCDP）以比标准DP更紧密地限制多次训练迭代中的累积隐私损失。
• 通过子采样实现隐私放大，以减少给定隐私预算下所需的噪声。
• 在随机优化中集成梯度裁剪和噪声注入，以满足zCDP约束。
• 使用变分推断在隐私约束下近似网络权重的后验分布。

实验结果

研究问题

• RQ1 能否正式利用变分丢弃中的固有噪声，实现在深度神经网络中的差分隐私？
• RQ2 与标准差分隐私相比，使用集中式差分隐私（zCDP）在迭代训练中如何改善隐私-准确率权衡？
• RQ3 在低隐私预算下，结合zCDP的变分丢弃在多大程度上优于标准差分隐私训练和最先进方法？
• RQ4 隐藏单元数量、学习率和批量大小等模型超参数在所提框架中如何影响隐私-准确率权衡？
• RQ5 所提方法能否在真实世界基准数据集上保持高准确率，同时提供可度量的隐私保障？

主要发现

• 在ε=10时，DPVD-zCDP在MNIST上达到0.9687的测试准确率，优于最先进方法（0.9701）和其他基线方法。
• 在ε=0.1时，DPVD-zCDP在MNIST上达到0.9026的准确率，在DIGITS上达到0.9038，显著优于SVI-zCDP（无丢弃）和Abadi等人在低隐私预算下的表现。
• 该方法对超参数选择表现出鲁棒性，在MNIST上1000个隐藏单元和600的最小批量大小时达到最佳性能。
• 随着训练轮数的增加，隐私成本上升，但zCDP相比标准DP具有更好的容忍度，最佳性能出现在100–200轮之间。
• 梯度裁剪阈值为4时达到最佳准确率，当阈值超过此值时性能下降，原因是噪声过大。
• 较大的最小批量大小（如600）通过降低噪声的相对影响改善了性能，最优采样频率ν ≈ 0.01。