[论文解读] Differentially Private Deep Learning with Smooth Sensitivity

Lichao Sun, Yingbo Zhou+2 more|arXiv (Cornell University)|Mar 1, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用 7

一句话总结

本文提出了一种新颖的差分隐私深度学习框架，结合平滑敏感度分析与一种名为不可变噪声ArgMax（Immutable Noisy ArgMax）的新投票机制，可在承受大噪声的同时保持标签准确率。该方法在教师-学生学习范式下，于大规模任务中实现了近乎零的隐私预算（ε ≈ 0），同时在准确率与隐私保护方面优于当前最先进方法。

ABSTRACT

Ensuring the privacy of sensitive data used to train modern machine learning models is of paramount importance in many areas of practice. One approach to study these concerns is through the lens of differential privacy. In this framework, privacy guarantees are generally obtained by perturbing models in such a way that specifics of data used to train the model are made ambiguous. A particular instance of this approach is through a "teacher-student" framework, wherein the teacher, who owns the sensitive data, provides the student with useful, but noisy, information, hopefully allowing the student model to perform well on a given task without access to particular features of the sensitive data. Because stronger privacy guarantees generally involve more significant perturbation on the part of the teacher, deploying existing frameworks fundamentally involves a trade-off between student's performance and privacy guarantee. One of the most important techniques used in previous works involves an ensemble of teacher models, which return information to a student based on a noisy voting procedure. In this work, we propose a novel voting mechanism with smooth sensitivity, which we call Immutable Noisy ArgMax, that, under certain conditions, can bear very large random noising from the teacher without affecting the useful information transferred to the student. Compared with previous work, our approach improves over the state-of-the-art methods on all measures, and scale to larger tasks with both better performance and stronger privacy ($ε\approx 0$). This new proposed framework can be applied with any machine learning models, and provides an appealing solution for tasks that requires training on a large amount of data.

研究动机与目标

• 解决差分隐私深度学习中模型性能与隐私成本之间的根本权衡问题。
• 在不损害数据隐私的前提下，实现从私有教师模型到学生模型的有效知识迁移。
• 在保持高模型准确率的同时，降低实现强隐私保证所需的隐私预算（ε）。
• 开发一种抗噪声的投票机制，即使在大扰动下也能保持正确标签预测的稳定性。
• 将该框架扩展至大规模深度学习任务，同时保障强隐私与高性能。

提出的方法

• 提出一种名为不可变噪声ArgMax的新投票机制，其在应用噪声前，先向最高票数加上一个大常数，从而确保ArgMax的稳定性。
• 采用平滑敏感度分析计算数据相关的敏感度，相比全局敏感度可减少噪声。
• 使用距离-2的数据变换函数 g(D)，确保在小数据扰动下ArgMax结果保持不变。
• 对修改后的票数施加拉普拉斯或高斯噪声，并通过联合界理论控制失败概率。
• 将该机制集成到教师-学生框架中，多个教师模型对未标记样本进行投票，学生模型从噪声但稳定的标签中学习。
• 理论分析证明了基于平滑敏感度的差分隐私性质，并表明大噪声不会以高概率改变ArgMax结果。

实验结果

研究问题

• RQ1 能否设计一种在极大噪声下仍保持稳定的投票机制，从而确保正确标签预测不被破坏？
• RQ2 在教师-学生设置中，平滑敏感度是否能相比全局敏感度减少差分隐私所需的噪声？
• RQ3 所提方法是否能在不牺牲大规模任务上模型准确率的前提下，实现更强的隐私保护（ε ≈ 0）？
• RQ4 该框架是否可扩展至复杂深度学习模型，同时保持隐私与性能？
• RQ5 不可变噪声ArgMax机制在投票过程中对对抗性扰动与数据分布漂移是否具有鲁棒性？

主要发现

• 所提方法在保持高模型准确率的同时，实现了近乎零的隐私预算（ε ≈ 0），优于现有方法。
• 不可变噪声ArgMax机制在承受大随机噪声时仍能保持ArgMax结果不变，确保标签迁移的稳定性。
• 平滑敏感度分析相比全局敏感度显著降低了所需噪声水平，提升了模型效用而不损害隐私。
• 理论分析表明，该机制在平滑敏感度下满足(ε, δ)-差分隐私，且失败概率被τ所界定。
• 实验结果表明，该方法在所有指标上均优于当前最先进方法（包括PATE与DP-SGD），尤其在大规模任务中表现优异。
• 该框架具备可扩展性，适用于任意机器学习模型，支持在敏感数据上进行私有训练。