[论文解读] Model-Agnostic Private Learning via Stability

Raef Bassily, Om Thakkar+1 more|arXiv (Cornell University)|Mar 14, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用 7

一句话总结

本文提出了一种模型无关的差分隐私学习算法，可在无需依赖特定模型设计的前提下，为在线分类查询生成准确且保护隐私的预测结果。通过利用学习算法的稳定性特性——尤其是平均情况稳定性——该方法实现了接近非私有学习者的性能，其样本复杂度仅取决于查询次数和VC维，而不依赖于模型复杂度。

ABSTRACT

We design differentially private learning algorithms that are agnostic to the learning model. Our algorithms are interactive in nature, i.e., instead of outputting a model based on the training data, they provide predictions for a set of $m$ feature vectors that arrive online. We show that, for the feature vectors on which an ensemble of models (trained on random disjoint subsets of a dataset) makes consistent predictions, there is almost no-cost of privacy in generating accurate predictions for those feature vectors. To that end, we provide a novel coupling of the distance to instability framework with the sparse vector technique. We provide algorithms with formal privacy and utility guarantees for both binary/multi-class classification, and soft-label classification. For binary classification in the standard (agnostic) PAC model, we show how to bootstrap from our privately generated predictions to construct a computationally efficient private learner that outputs a final accurate hypothesis. Our construction - to the best of our knowledge - is the first computationally efficient construction for a label-private learner. We prove sample complexity upper bounds for this setting. As in non-private sample complexity bounds, the only relevant property of the given concept class is its VC dimension. For soft-label classification, our techniques are based on exploiting the stability properties of traditional learning algorithms, like stochastic gradient descent (SGD). We provide a new technique to boost the average-case stability properties of learning algorithms to strong (worst-case) stability properties, and then exploit them to obtain private classification algorithms. In the process, we also show that a large class of SGD methods satisfy average-case stability properties, in contrast to a smaller class of SGD methods that are uniformly stable as shown in prior work.

研究动机与目标

• 解决传统差分隐私学习者因依赖模型维度或特征空间大小而导致的高样本复杂度问题。
• 为在线分类查询设计一种隐私保护框架，无需预先确定单一模型。
• 允许将任何非私有学习器作为黑箱使用，同时保持性能并确保差分隐私。
• 在agnostic PAC模型中提供仅依赖于VC维和查询数量的正式样本复杂度边界。
• 通过利用稳定性而非凸性，为非凸设置下的私有学习建立新的理论基础。

提出的方法

• 使用在私有数据集不相交随机子集上训练的模型集合，识别出在多个模型中预测一致的特征向量。
• 将距离不稳定性的框架与稀疏向量技术相结合，提出一种新颖的耦合方法，用于对一致查询释放私有预测结果。
• 利用学习算法的平均情况稳定性（如SGD）特性，并通过基于排列的论证将其提升为最坏情况稳定性。
• 构建一个私有预测机制，仅对多个模型达成一致的特征向量释放标签，从而最小化隐私成本。
• 使用后处理方法，从私有生成的标签中训练一个最终的、可公开分享的模型，实现端到端的隐私保护。
• 通过稳定性与稀疏向量技术推导出的差分隐私保证，证明隐私性，并给出误差与样本复杂度的正式边界。

实验结果

研究问题

• RQ1 我们能否设计出对底层模型架构或学习过程无关的差分隐私学习算法？
• RQ2 如何在不引入与维度相关的样本复杂度惩罚的前提下，实现接近非私有学习者的性能？
• RQ3 是否可以利用学习算法的稳定性特性——尤其是平均情况稳定性——来设计私有预测机制？
• RQ4 是否可能在不假设凸性的情况下，构建一个计算高效的、标签私有的学习者，且适用于agnostic PAC模型？
• RQ5 我们如何在私有学习中，正式关联不一致（‘坏’）查询的数量与整体样本复杂度？

主要发现

• 所提出的框架实现了隐私保护，其样本复杂度仅取决于不一致查询的数量和VC维，而不依赖于模型复杂度或输入维度。
• 对于二分类和多分类任务，该方法提供了正式的差分隐私与性能保证，其误差接近非私有学习者的水平。
• 作者首次提出了agnostic PAC模型中计算高效的标签私有学习者的构造，其样本复杂度上界与非私有情况相比仅相差对数因子。
• 研究证明了一类基于SGD的方法满足平均情况稳定性，扩展了以往仅识别出均匀稳定SGD变体的研究成果。
• 该技术实现了半监督知识迁移：私有生成的标签可用于训练一个本身也具备差分隐私的最终模型。
• 理论分析表明，当集成中多个模型对某一特征向量的预测一致时，其隐私成本几乎为零，从而可实现高精度预测且仅需极小噪声。