[论文解读] Differentially Private Distributed Data Summarization under Covariate Shift

Kanthi Sarpatwar, Karthikeyan Shanmugam+3 more|arXiv (Cornell University)|Oct 28, 2019

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种在协变量偏移下用于分布式数据汇总的差分隐私协议，使可信管理员能够在最小化私有数据访问的前提下，构建出与目标验证集接近的汇总数据集。该方法使用Rahimi-Recht随机特征和先进的差分隐私机制，仅需$O(K^{1/3}|D_s| + |D_v|)$次数据访问即可实现$(\epsilon,\delta)$-差分隐私，在MNIST上的MMD和准确率上优于均匀采样10%–15%。

ABSTRACT

We envision AI marketplaces to be platforms where consumers, with very less data for a target task, can obtain a relevant model by accessing many private data sources with vast number of data samples. One of the key challenges is to construct a training dataset that matches a target task without compromising on privacy of the data sources. To this end, we consider the following distributed data summarizataion problem. Given K private source datasets denoted by $[D_i]_{i\in [K]}$ and a small target validation set $D_v$, which may involve a considerable covariate shift with respect to the sources, compute a summary dataset $D_s\subseteq \bigcup_{i\in [K]} D_i$ such that its statistical distance from the validation dataset $D_v$ is minimized. We use the popular Maximum Mean Discrepancy as the measure of statistical distance. The non-private problem has received considerable attention in prior art, for example in prototype selection (Kim et al., NIPS 2016). Our work is the first to obtain strong differential privacy guarantees while ensuring the quality guarantees of the non-private version. We study this problem in a Parsimonious Curator Privacy Model, where a trusted curator coordinates the summarization process while minimizing the amount of private information accessed. Our central result is a novel protocol that (a) ensures the curator accesses at most $O(K^{\frac{1}{3}}|D_s| + |D_v|)$ points (b) has formal privacy guarantees on the leakage of information between the data owners and (c) closely matches the best known non-private greedy algorithm. Our protocol uses two hash functions, one inspired by the Rahimi-Recht random features method and the second leverages state of the art differential privacy mechanisms. We introduce a novel "noiseless" differentially private auctioning protocol for winner notification and demonstrate the efficacy of our protocol using real-world datasets.

研究动机与目标

• 为解决从多个分布式、私有的数据源构建一个与目标验证集存在协变量偏移的私有高质量训练数据集的挑战。
• 在确保数据所有者之间强差分隐私保证的同时，最小化管理员对数据的访问量。
• 开发一种协议，使汇总数据集与验证数据集之间的最大均值差异（MMD）最小化性能与非私有的贪心算法相当。
• 引入一种“无噪声”的差分隐私拍卖机制用于胜出者通知，该机制本身可能具有独立的研究价值。

提出的方法

• 该协议采用两阶段哈希机制：第一阶段基于Rahimi-Recht随机特征，将数据映射到低维空间以实现高效比较。
• 第二阶段哈希函数利用最先进的差分隐私机制，确保在管理员交互过程中数据的隐私性。
• 管理员通过与数据所有者迭代进行哈希交换，识别并选择与验证集MMD最小化的代表性数据点。
• 提出一种新颖的“无噪声”差分隐私拍卖协议，用于在不向最终选择结果添加噪声的情况下，私密地通知胜出数据点。
• 该算法在哈希空间中采用贪心选择策略，以MMD最小化为指导，构建汇总数据集$D_s$。
• 理论分析表明，管理员仅需访问$O(K^{1/3}|D_s| + |D_v|)$个数据点，显著降低了暴露风险。

实验结果

研究问题

• RQ1 能否设计一种差分隐私协议，在协变量偏移下对分布式数据进行汇总，同时在数据所有者之间保持强隐私保证？
• RQ2 如何在不牺牲汇总数据集质量的前提下，最小化可信管理员访问的数据点数量？
• RQ3 差分隐私协议在最小化与目标验证集MMD方面，能在多大程度上匹配非私有贪心算法的性能？
• RQ4 能否构建一种无噪声的差分隐私拍卖机制，确保隐私而不降低选择质量？

主要发现

• 所提出的协议在MNIST数据集上的MMD性能相比均匀采样提升了10%–15%，充分证明了其强大的经验有效性。
• 该协议确保了所有数据所有者交互的$(\epsilon,\delta)$-差分隐私，有效防止了私有信息泄露。
• 管理员仅访问$O(K^{1/3}|D_s| + |D_v|)$个数据点，与全量数据访问相比显著减少了攻击面。
• 该私有算法在分类准确率上始终优于均匀采样，在使用32个神经元的神经网络时，MNIST上的相对性能提升了10%–13%。
• 无噪声差分隐私拍卖机制实现了无噪声的私密胜出者通知，完整保留了选择的保真度。
• 理论分析证实，该协议在最小化MMD方面与非私有的贪心算法性能非常接近。