[论文解读] Adaptive Laplace Mechanism: Differential Privacy Preservation in Deep Learning

NhatHai Phan, Xintao Wu+2 more|arXiv (Cornell University)|Sep 18, 2017

Privacy-Preserving Technologies in Data参考文献 19被引用 19

一句话总结

该论文提出了一种自适应拉普拉斯机制（Adaptive Laplace Mechanism, AdLM），这是一种新颖的差分隐私深度学习框架，能够根据特征对模型输出的相关性自适应地向神经网络特征注入噪声，且与训练轮数无关。通过在高影响力特征中减少噪声、在低影响力特征中增加噪声，该方法在不牺牲隐私保证的前提下提升了模型效用，实现了比现有方法更高的准确率。

ABSTRACT

In this paper, we focus on developing a novel mechanism to preserve differential privacy in deep neural networks, such that: (1) The privacy budget consumption is totally independent of the number of training steps; (2) It has the ability to adaptively inject noise into features based on the contribution of each to the output; and (3) It could be applied in a variety of different deep neural networks. To achieve this, we figure out a way to perturb affine transformations of neurons, and loss functions used in deep neural networks. In addition, our mechanism intentionally adds "more noise" into features which are "less relevant" to the model output, and vice-versa. Our theoretical analysis further derives the sensitivities and error bounds of our mechanism. Rigorous experiments conducted on MNIST and CIFAR-10 datasets show that our mechanism is highly effective and outperforms existing solutions.

研究动机与目标

• 开发一种适用于深度神经网络的差分隐私机制，使其在隐私预算消耗方面与训练轮数无关。
• 基于特征对模型输出的贡献程度，实现噪声的自适应注入，以提升模型效用。
• 设计一种可适用于多种深度神经网络架构的机制。
• 通过优先保护高相关性特征，减轻均匀噪声注入对模型性能的负面影响。
• 为所提出的机制提供理论基础的敏感度与误差界分析。

提出的方法

• 该机制通过扰动深度神经网络中的仿射变换和损失函数来保持差分隐私。
• 利用逐层相关性传播（Layer-wise Relevance Propagation, LRP）计算特征相关性，以识别高影响力和低影响力特征。
• 采用基于敏感度的拉普拉斯机制自适应地注入噪声，其中在相关性较低的特征上添加更多噪声。
• 该方法引入一个预训练模型以估计平均特征相关性 $\mathbf{R}(D)$，从而高效计算噪声分布。
• 核心组件包括 $\Delta_{\mathbf{R}}$、$\Delta_{\mathbf{h}_0}$、$\Delta_{\mathcal{F}}$、$\overline{R}_j$、$\beta_j$、$\overline{x}$ 和 $\overline{\phi}$，所有计算均在 $O(|D|(d+M))$ 时间内完成。
• 该机制兼容多种激活函数，可应用于串行与并行计算环境。

实验结果

研究问题

• RQ1 能否设计一种差分隐私深度学习机制，使其在隐私预算消耗方面与训练轮数无关？
• RQ2 能否基于特征相关性自适应地分配噪声以提升模型效用？
• RQ3 所提出的机制能否在不同深度神经网络架构上实现泛化？
• RQ4 在固定隐私预算下，自适应噪声分配与均匀噪声注入在模型准确率上的表现如何比较？
• RQ5 自适应噪声注入机制的理论敏感度与误差界是什么？

主要发现

• 在 MNIST 数据集上，AdLM 相较于 pSGD（71.1%）将预测准确率平均提升了 5.9%（达到 77%），且具有统计显著性（$p<0.01$）。
• 在 CIFAR-10 上，AdLM 相较于 ILM 平均准确率提升 5%，且具有统计显著性（$p<0.05$）。
• 在 MNIST 和 CIFAR-10 的所有测试场景中，AdLM 均优于 ILM，证明了自适应噪声重分配的有效性。
• 即使在较大的隐私预算下（$\epsilon=2.5$），该机制依然有效，且在 800 个训练轮数后优于 pSGD。
• 在 MNIST 和 CIFAR-10 上，用于相关性估计的预训练仅需额外 12 和 50 个轮数，且在单张 GPU 上耗时约 10 分钟。
• 噪声注入的计算开销极低，具有线性复杂度 $O(|D|(d+M))$，且可高效并行化。