[论文解读] Principal Component Analysis and Higher Correlations for Distributed Data

Ravindran Kannan, Santosh Vempala+1 more|arXiv (Cornell University)|Apr 10, 2013

Sparse and Compressive Sensing Techniques参考文献 32被引用 12

一句话总结

本文提出了一种通信高效的分布式主成分分析（PCA）与大规模数据集中高阶相关性估计的算法，其中数据被分割存储在多个服务器上。通过利用随机采样和近似技术，作者实现了近乎最优的通信复杂度——仅随数据规模对数增长——从而在常数轮通信内实现准确的低秩矩阵近似，并对广义频率矩(moment)等高阶相关性估计提供相对误差保证。

ABSTRACT

We consider algorithmic problems in the setting in which the input data has been partitioned arbitrarily on many servers. The goal is to compute a function of all the data, and the bottleneck is the communication used by the algorithm. We present algorithms for two illustrative problems on massive data sets: (1) computing a low-rank approximation of a matrix $A=A^1 + A^2 + \ldots + A^s$, with matrix $A^t$ stored on server $t$ and (2) computing a function of a vector $a_1 + a_2 + \ldots + a_s$, where server $t$ has the vector $a_t$; this includes the well-studied special case of computing frequency moments and separable functions, as well as higher-order correlations such as the number of subgraphs of a specified type occurring in a graph. For both problems we give algorithms with nearly optimal communication, and in particular the only dependence on $n$, the size of the data, is in the number of bits needed to represent indices and words ($O(\log n)$).

研究动机与目标

• 设计在数据被分割存储于多个服务器时的通信高效分布式PCA算法。
• 在通信量最小化的分布式环境中估计广义高阶相关性，如频率矩与子图计数。
• 通过利用非负性与函数的超线性等结构假设，突破已知的通信复杂度下界。
• 仅使用O(1)轮通信，实现对函数f作用于聚合向量元素之和的相对误差近似。
• 将空间复杂度从n的多项式级降低至线性级，同时保持低通信量与常数轮通信。

提出的方法

• 算法使用拒绝采样与重要性采样来估计函数f作用于聚合向量元素之和的总值，其中f为非负且具有指数L的超线性函数。
• 提出两阶段方法：首先使用少量索引样本粗略估计总和A；若估计质量不佳，则进入精炼阶段。
• 在精炼阶段，算法根据与f(∑a_ti)成比例的概率分布采样索引，并对每个采样索引，通过均匀采样服务器来估计其局部贡献。
• 对每个采样索引i，通过在随机选择的服务器子集上取平均，计算f(∑a_ti)的估计值，并使用多次试验的中位数以降低方差。
• 采用分层β-采样策略，在几何递减的β区间上估计不同ρ_i = A_i / B_i比值的索引贡献。
• 最终估计值通过加权组合各β-区间内的贡献得到，其中使用落入每个区间的采样索引比例来近似总和。

实验结果

研究问题

• RQ1 我们能否实现仅依赖于数据规模n的对数级通信复杂度的分布式矩阵低秩近似？
• RQ2 我们能否在通信复杂度接近最优的分布式环境中估计频率矩或子图计数等高阶相关性？
• RQ3 通过限制为非负条目与少量服务器，我们能否突破k>2频率矩的已知通信复杂度下界？
• RQ4 我们能否在保持低通信量与常数轮通信的前提下，将空间复杂度从O(n^k |W_t|)降低至O(n)？
• RQ5 是否可能设计一种常数轮通信算法，以最小通信量实现对∑_i f(∑_t a_ti)的(1±ε)相对误差估计？

主要发现

• 算法在估计∑_i f(∑_t a_ti)至(1+ε)相对误差时，通信复杂度为O(s^{L-1}(ln s)^3 / ε^3)个字，其中L为f的超线性指数。
• 对于k阶频率矩（f(x)=x^k），通信成本为O(s^{k-1}(ln s)^3 / ε^3)，与已知下界相比仅差对数因子。
• 算法仅使用O(1)轮通信，适用于同步能力有限的大规模分布式系统。
• 通过使用拒绝采样与基于中位数的估计，算法将空间复杂度从多项式级降低至n的线性级，同时保持精度。
• 通过假设非负性与较小的s值，该方法克服了以往对负条目不可行的结论，实现了低通信量解决方案。
• 分析表明，估计误差被控制在乘法因子e^ε以内，从而确保以高概率实现(1±ε)的相对误差保证。