[论文解读] Distributed Sketching Methods for Privacy Preserving Regression

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|Feb 16, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 22被引用 7

一句话总结

该论文提出了一种用于大规模回归的分布式压缩与参数平均方法，利用随机压缩（高斯分布、哈达玛矩阵、采样）降低维度，提升隐私保护，并增强异步系统中的慢速节点容错能力。理论分析表明，高斯压缩可实现无偏估计，且期望误差随工作节点数量按 $1/\epsilon$ 缩放，其精度和隐私保护性能优于均匀采样。

ABSTRACT

In this work, we study distributed sketching methods for large scale regression problems. We leverage multiple randomized sketches for reducing the problem dimensions as well as preserving privacy and improving straggler resilience in asynchronous distributed systems. We derive novel approximation guarantees for classical sketching methods and analyze the accuracy of parameter averaging for distributed sketches. We consider random matrices including Gaussian, randomized Hadamard, uniform sampling and leverage score sampling in the distributed setting. Moreover, we propose a hybrid approach combining sampling and fast random projections for better computational efficiency. We illustrate the performance of distributed sketches in a serverless computing platform with large scale experiments.

研究动机与目标

• 开发一种适用于大规模数据的可扩展、隐私保护回归框架，能够在分布式和异步计算环境中高效运行。
• 分析在过定（$n > d$）和欠定（$n < d$）回归设置下，对压缩子问题进行参数平均的近似精度与收敛性特性。
• 评估不同压缩方法（包括采样与快速投影结合的混合方法）在计算效率、隐私保护与精度之间的权衡。
• 在真实和合成数据集上，通过 AWS Lambda 等无服务器平台展示实际性能与可扩展性。

提出的方法

• 使用多个随机压缩矩阵 ($S_k \in \mathbb{R}^{m \times n}$) 将数据矩阵 $A \in \mathbb{R}^{n \times d}$ 和向量 $b \in \mathbb{R}^n$ 投影到低维空间，以支持分布式计算。
• 通过 $q$ 个工作节点的参数平均来近似完整最小二乘解，实现异步更新，无需等待慢速节点。
• 应用包括高斯分布、随机哈达玛矩阵、均匀采样和杠杆度采样在内的压缩矩阵，以保持解的精度与数据隐私。
• 提出一种混合压缩方法：先采样行，再应用快速随机投影（SJLT），在保持精度的同时提升计算效率。
• 在 AWS Lambda 上实现该框架，以评估在无服务器、高度并行但单个函数资源受限环境下的性能。
• 理论分析推导了期望代价差 $\mathbb{E}[f(\bar{x})] - f(x^*)$ 的界，将高斯压缩的误差分解为偏差与方差两部分。

实验结果

研究问题

• RQ1 参数平均对压缩子问题的近似误差与收敛性在分布式回归中产生何种影响？
• RQ2 在分布式环境下，不同压缩方法（高斯分布、均匀采样、杠杆度采样、SJLT）在精度与隐私保护方面具有哪些理论保证？
• RQ3 混合压缩方法（采样 + 快速投影）与纯采样或纯压缩方法相比，在精度与运行时间方面表现如何？
• RQ4 分布式压缩在多大程度上提升了节点容错能力，并支持在 AWS Lambda 等无服务器平台上的高效计算？
• RQ5 平均解的期望误差是否可独立于数据矩阵的条件数进行有界控制，如同异步 SGD 所示？

主要发现

• 对于高斯压缩，平均解的期望代价 $\mathbb{E}[f(\bar{x})]$ 是无偏的，且随着工作节点数 $q$ 增加，收敛至最优代价 $f(x^*)$。
• 高斯压缩的期望误差可分解为方差与平方偏差，达到误差 $\epsilon$ 所需的工作节点数按 $1/\epsilon$ 缩放。
• 在 EMNIST-bymerge 数据集上，SJLT 的近似误差低于均匀采样，且测试准确率更高，运行时间分别为 66.9 秒与 41.5 秒（AWS Lambda 环境）。
• 在大规模合成实验中（$10^7 \times 10^3$ 与 $2\times10^7 \times 2\times10^3$ 矩阵），混合方法的误差下降速度优于纯采样，尽管处理时间更长。
• 对于欠定问题（$n < d$），高斯压缩在最小范数解误差方面优于均匀采样，而混合方法介于纯采样与纯高斯压缩之间。
• 理论结果表明，与异步 SGD 相比，采用平均的分布式压缩具有更强的收敛保证，因其不依赖于数据矩阵的条件数。