[论文解读] Fast and Space-optimal Low-rank Factorization in the Streaming Model With Application in Differential Privacy.

Jalaj Upadhyay|arXiv (Cornell University)|Apr 5, 2016

Privacy-Preserving Technologies in Data参考文献 93被引用 13

一句话总结

本文提出了一种在流式处理的抵消模型下，针对低秩矩阵分解的空间最优流算法，将草图存储从五个组件减少到三个。它引入了两种差分隐私变体，其隐私保障强于以往工作，实现了线性时间分解与 $\tilde{O}(1)$ 的更新时间，并达到最优的空间使用效率。

ABSTRACT

In this paper, we consider the problem of computing a low-rank factorization of an $m imes n$ matrix in the general turnstile update model. We consider both the private and non-private setting. In the non-private setting, we give a space-optimal algorithm that computes a low-rank factorization. Our algorithm maintains three sketches of the matrix instead of five as in Boutsidis {\it et al.} (STOC 2016). Our algorithm takes $\widetilde{O}(1)$ time to update the sketch and computes the factorization in time linear in the sparsity and the dimensions of the matrix. In the private setting, we study low-rank factorization in the framework of differential privacy and under turnstile updates. We give two algorithms with respect to two levels of privacy. Both of our privacy levels are stronger than earlier studied privacy levels, namely that of Blocki {\it et al.} (FOCS 2012), Dwork {\it et al.} (STOC 2014), Hardt and Roth (STOC 2012, STOC 2013), and Hardt and Price (NIPS 2014).

研究动机与目标

• 设计一种在抵消流式处理模型下实现空间最优的低秩分解算法。
• 将所需草图数量从五个减少到三个，从而在空间效率上优于以往工作。
• 开发该分解算法的差分隐私变体，其隐私保障强于现有方法。
• 在流式处理环境中实现线性时间分解与 $\tilde{O}(1)$ 的更新时间。
• 在统一的框架下同时支持非私有与私有设置。

提出的方法

• 该算法维护输入矩阵的三个草图，而非五个，从而在保持准确性的前提下减少空间使用。
• 它使用随机化降维技术，在抵消更新下维持低秩近似。
• 非私有版本的计算时间与矩阵稀疏度及维度呈线性关系。
• 对于差分隐私，该方法应用高级组合与噪声校准，以确保强隐私保障。
• 引入了两种不同的隐私级别，均强于 Blocki 等人（FOCS 2012）、Dwork 等人（STOC 2014）以及 Hardt 与 Roth（STOC 2012, 2013；NIPS 2014）的工作。
• 该算法在抵消模型下支持动态更新，每次更新的时间为 $\tilde{O}(1)$。

实验结果

研究问题

• RQ1 能否在抵消流式处理模型下以最优空间使用实现低秩分解？
• RQ2 如何在不牺牲准确性的前提下，将所需草图数量从五个减少到三个？
• RQ3 在流式处理环境中强制实施更强的隐私保障时，对差分隐私有何影响？
• RQ4 能否在抵消模型下，通过差分隐私实现高效且线性时间的分解？
• RQ5 所提出的隐私级别在强度与实用性方面与以往工作相比如何？

主要发现

• 所提出的算法在抵消模型下实现了低秩分解的空间最优性，仅使用三个草图而非五个。
• 非私有变体的计算时间与矩阵稀疏度及维度呈线性关系，且更新时间为 $\tilde{O}(1)$。
• 该算法提供了两种差分隐私变体，其隐私保障强于 Blocki 等人（FOCS 2012）、Dwork 等人（STOC 2014）以及 Hardt 与 Roth（STOC 2012, 2013；NIPS 2014）的工作。
• 该方法在保持最优空间使用的同时，支持高效的 $\tilde{O}(1)$ 每次更新时间的动态抵消更新。
• 该框架在单一高效且空间最优的方法下统一了非私有与私有设置。
• 结果表明，在流式低秩分解中，更强的隐私保障不会以牺牲时间或空间效率为代价。