[论文解读] Differentially Private Linear Algebra in the Streaming Model

Jalaj Upadhyay|arXiv (Cornell University)|Jan 1, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用 12

一句话总结

本论文提出了流式模型中首个基于草图的差分隐私线性代数算法，实现了空间复杂度在对数因子范围内的最优。通过新颖地重用随机高斯矩阵，作者实现了低秩逼近、线性回归和矩阵乘法的单遍处理，同时在差分隐私下实现了改进的加法误差界，与目前已知的最佳非私有空间界限相匹配。

ABSTRACT

Numerical linear algebra plays an important role in computer science. In this paper, we initiate the study of performing linear algebraic tasks while preserving privacy when the data is streamed online. Our main focus is the space requirement of the privacy-preserving data-structures. We give the first {\em sketch-based} algorithm for differential privacy. We give optimal, up to logarithmic factor, space data-structures that can compute low rank approximation, linear regression, and matrix multiplication, while preserving differential privacy with better additive error bounds compared to the known results. Notably, we match the best known space bound in the non-private setting by Kane and Nelson (J. ACM, 61(1):4). Our mechanism for differentially private low-rank approximation {\em reuses} the random Gaussian matrix in a specific way to provide a single-pass mechanism. We prove that the resulting distribution also preserve differential privacy. This can be of independent interest. We do not make any assumptions, like singular value separation or normalized row assumption, as made in the earlier works. The mechanisms for matrix multiplication and linear regression can be seen as the private analogues of the known non-private algorithms. All our mechanisms, in the form presented, can also be computed in the distributed setting.

研究动机与目标

• 设计适用于流式模型中基本线性代数任务的差分私有且空间高效的算法。
• 克服现有私有算法需要多次遍历数据的局限性。
• 实现与最佳非私有流式算法相当的空间复杂度，仅在对数因子范围内存在差异。
• 提供首个无需假设（如奇异值分离或归一化行）的流式环境中基于草图的差分隐私机制。

提出的方法

• 利用随机高斯矩阵作为Johnson-Lindenstrauss变换，以保护隐私的方式对数据进行压缩。
• 在多个操作中重用同一随机高斯矩阵，以维持隐私并支持单遍处理。
• 应用一种改进的草图机制，通过仔细的噪声校准和保持矩阵结构，确保差分隐私。
• 采用两阶段效用分析：首先在草图空间中界定误差，然后利用奇异值分解和范数不等式将误差关系映射回原始矩阵。
• 使用引理5.5对Johnson-Lindenstrauss嵌入进行控制，以高概率限制近似误差。
• 通过集成隐私保护草图与噪声注入，将非私有的流式算法（如Kane和Nelson的算法）转化为私有版本。

实验结果

研究问题

• RQ1 是否可以在不牺牲空间效率的前提下，使基于草图的方法在单遍流式模型中实现差分隐私？
• RQ2 在流式环境中，计算差分私有的低秩逼近、线性回归和矩阵乘法所需的最小空间是多少？
• RQ3 是否可以在不依赖奇异值分离或行归一化等假设的前提下，维持隐私保证？
• RQ4 在流式模型中，私有线性代数的加法误差与最佳非私有对应方法相比如何？
• RQ5 是否可能在保持差分隐私的同时，匹配非私有流式算法的最优空间界限？

主要发现

• 所提出的算法在空间复杂度上达到最优（仅对数因子差异），与Kane和Nelson（J. ACM, 61(1):4）所知的最佳非私有流式界限一致。
• 用于差分私有低秩逼近的机制通过在多个操作中重用单个随机高斯矩阵，确保了隐私并支持单遍计算。
• 所有三项任务——低秩逼近（LRA）、线性回归（LIN-REG）和矩阵乘法（MAT-MULT）——的加法误差界均优于先前的私有算法。
• 该方法无需依赖奇异值分离或行归一化等假设，因此比早期工作更具广泛适用性。
• 效用分析证明，回归与低秩逼近的误差被限制在非私有误差的(1 + 4α)倍以内，外加一个较小的加法项τ。
• 所有机制均兼容分布式环境，支持多方之间的私有计算。