[论文解读] Fast Differentially Private Matrix Factorization

Ziqi Liu, Yu-Xiang Wang+1 more|arXiv (Cornell University)|May 6, 2015

Privacy-Preserving Technologies in Data参考文献 22被引用 9

一句话总结

本文提出了一种快速的、差分隐私矩阵分解算法，通过利用随机梯度朗之万动力学（SGLD）实现可证明的用户级隐私保护，同时保持高实用性。通过利用数据的幂律特性并优化CPU缓存效率，该方法实现了每秒850万条推荐——比GraphChi快约3倍——同时维持了强大的隐私-准确率权衡。

ABSTRACT

Differentially private collaborative filtering is a challenging task, both in terms of accuracy and speed. We present a simple algorithm that is provably differentially private, while offering good performance, using a novel connection of differential privacy to Bayesian posterior sampling via Stochastic Gradient Langevin Dynamics. Due to its simplicity the algorithm lends itself to efficient implementation. By careful systems design and by exploiting the power law behavior of the data to maximize CPU cache bandwidth we are able to generate 1024 dimensional models at a rate of 8.5 million recommendations per second on a single PC.

研究动机与目标

• 为解决构建快速、差分隐私协同过滤系统以保护用户隐私而不牺牲推荐质量的挑战。
• 开发一种可扩展的矩阵分解框架，通过SGLD进行后验抽样，实现高效且私密的推理。
• 通过利用幂律数据分布和CPU缓存感知的内存访问模式，优化系统性能。
• 在保持端到端差分隐私的前提下，为每个用户实现个性化的隐私预算。
• 证明差分隐私矩阵分解既高效又准确，可与非私有基线系统相媲美。

提出的方法

• 该方法使用随机梯度朗之万动力学（SGLD）从缩放后的后验分布中抽样，以确保用户级差分隐私。
• 设计了一种新颖的缓存高效型矩阵分解框架，通过最小化内存访问延迟来加速SGD更新。
• 在SGLD中引入一种噪声避免优化机制，避免在每次更新时向整个参数空间添加高斯噪声，从而在保持正确性的同时提升速度。
• 算法应用截断/重加权过程以限制损失函数的敏感度，从而实现正式的差分隐私保证。
• 引入个性化隐私校准机制，根据用户特定的数据敏感度和贡献度调整个体隐私预算。
• 仅公开发布物品特征矩阵$V$；每个用户使用其私有数据和$V$在本地重新计算推荐结果，从而确保端到端隐私。

实验结果

研究问题

• RQ1 基于SGLD的后验抽样能否在大规模矩阵分解中高效扩展，同时保持差分隐私？
• RQ2 系统级优化如何利用数据的幂律行为来加速差分隐私矩阵分解？
• RQ3 差分隐私推荐系统能否在速度和准确率方面达到与非私有基线系统相当的性能？
• RQ4 个性化隐私预算对系统实用性和效率有何影响？
• RQ5 是否可能仅公开$V$，同时保持强隐私保障并支持本地推荐推理？

主要发现

• 所提出的算法在单台PC上实现了每秒850万条推荐的峰值吞吐量，比GraphChi快约3倍。
• 系统展现出有利的隐私-准确率权衡，在有意义的隐私水平下（$\epsilon \approx 1$）几乎与非私有系统相当。
• 通过利用幂律数据分布，算法最大化了CPU缓存带宽利用率，显著提升了计算效率。
• 基于SGLD的方法确保了用户级$(\epsilon, \delta)$-差分隐私，其敏感度边界通过损失函数的敏感度形式化推导得出。
• 个性化隐私校准机制实现了对个体隐私预算的细粒度控制，而不会降低系统整体性能。
• 该方法实现了本地推荐架构，仅需共享$V$，最大限度减少了用户特定数据的暴露，增强了隐私保护。