[论文解读] Differentially Private Matrix Completion Revisited

Prateek Jain, Om Thakkar+1 more|arXiv (Cornell University)|Dec 28, 2017

Privacy-Preserving Technologies in Data参考文献 25被引用 8

一句话总结

该论文提出了首个基于Frank-Wolfe方法的联合差分隐私矩阵补全算法，实现了用户级别的隐私保障，即使用户数量超过 $ n^{5/4} $ 也能保持强大的实用性。该方法引入了一种优化的差分隐私奇异向量计算方式，基于Oja’s算法，在稀疏矩阵上表现出更高的效率，相较于以往的私有化方法，在多个基准数据集上均实现了更高的准确性。

ABSTRACT

We provide the first provably joint differentially private algorithm with formal utility guarantees for the problem of user-level privacy-preserving collaborative filtering. Our algorithm is based on the Frank-Wolfe method, and it consistently estimates the underlying preference matrix as long as the number of users $m$ is $ω(n^{5/4})$, where $n$ is the number of items, and each user provides her preference for at least $\sqrt{n}$ randomly selected items. Along the way, we provide an optimal differentially private algorithm for singular vector computation, based on the celebrated Oja's method, that provides significant savings in terms of space and time while operating on sparse matrices. We also empirically evaluate our algorithm on a suite of datasets, and show that it consistently outperforms the state-of-the-art private algorithms.

研究动机与目标

• 设计一种差分隐私矩阵补全算法，确保用户级别隐私，即保护单个用户完整评分档案的隐私。
• 为所提出的算法在联合差分隐私下提供正式的实用性保障，确保偏好矩阵估计的准确性。
• 以差分隐私方式优化主奇异向量的计算，尤其针对稀疏的用户-物品偏好矩阵。
• 通过实证结果证明，该方法在真实世界推荐数据集上优于现有私有化矩阵补全基线方法。
• 解决先前研究仅提供条目级别隐私或缺乏正式误差界的问题。

提出的方法

• 核心算法采用Frank-Wolfe方法，迭代估计低秩偏好矩阵，同时保持联合差分隐私。
• 通过改进的Oja’s算法实现差分隐私奇异向量计算，该方法针对稀疏矩阵进行了优化，实现了近乎最优的实用性。
• 噪声在迭代过程中自适应校准，以在维持整体隐私预算的同时最小化精度损失。
• 通过局部归一化（即每用户均值减法）处理用户评分，降低敏感度，且不增加隐私成本。
• 该方法支持核范数约束，并通过交叉验证对关键参数（如秩和迭代次数）进行调优。
• 利用用户-物品交互的稀疏性，显著降低了时间和空间复杂度，相较于标准私有SVD具有明显优势。

实验结果

研究问题

• RQ1 能否设计一种矩阵补全算法，在联合差分隐私下为用户级别隐私提供正式的实用性保障？
• RQ2 在差分隐私矩阵补全中，隐私预算与估计精度之间的最优权衡是什么？
• RQ3 如何使差分隐私奇异向量计算在稀疏、大规模矩阵上既准确又高效？
• RQ4 所提出的基于Frank-Wolfe的方法是否在RMSE和可扩展性方面优于现有私有化矩阵补全方法？
• RQ5 私有化Oja’s方法能否用于加速私有PCA及其他低秩逼近任务？

主要发现

• 所提出的私有Frank-Wolfe算法在所有数据集（包括合成数据、Jester、MovieLens10M、Netflix和Yahoo! Music）上，测试RMSE均显著低于基于私有SVD和私有PGD的基线方法。
• 即使当用户数量 $ m $ 达到 $ heta(n^{5/4}) $ 时，该算法仍能保持强大的实用性，确保对底层偏好矩阵的一致估计。
• 私有化Oja’s方法在提供近乎最优奇异向量估计的同时，显著降低了时间和空间复杂度，尤其在稀疏矩阵中优势明显。
• 实证结果表明，与未优化的变体相比，采用Oja’s方法的私有FW在精度上无明显损失，验证了其高效性。
• 在公平的隐私预算比较下，该方法优于最先进的私有化算法，包括文献[43]中提出的“清洗后SVD”方法。
• 该算法实现了 $ ho $-联合差分隐私的用户级别隐私保障，对应条目级别隐私参数为 $ ho imes rac{1}{ ext{平均每位用户的评分数量}} $，确保了强有力的隐私保护。