[论文解读] Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis

Dan Garber, Ohad Shamir+1 more|arXiv (Cornell University)|Feb 27, 2017

Sparse and Compressive Sensing Techniques参考文献 19被引用 22

一句话总结

该论文提出了一种通信高效的分布式随机PCA算法，其估计误差与集中式ERM解相当。通过引入符号校正方法，解决了朴素平均在非凸PCA中失效的问题，并提出了一种基于分布式矩阵-向量乘积的迭代算法，在极少的通信轮次内实现了加速收敛。

ABSTRACT

We study the fundamental problem of Principal Component Analysis in a statistical distributed setting in which each machine out of $m$ stores a sample of $n$ points sampled i.i.d. from a single unknown distribution. We study algorithms for estimating the leading principal component of the population covariance matrix that are both communication-efficient and achieve estimation error of the order of the centralized ERM solution that uses all $mn$ samples. On the negative side, we show that in contrast to results obtained for distributed estimation under convexity assumptions, for the PCA objective, simply averaging the local ERM solutions cannot guarantee error that is consistent with the centralized ERM. We show that this unfortunate phenomena can be remedied by performing a simple correction step which correlates between the individual solutions, and provides an estimator that is consistent with the centralized ERM for sufficiently-large $n$. We also introduce an iterative distributed algorithm that is applicable in any regime of $n$, which is based on distributed matrix-vector products. The algorithm gives significant acceleration in terms of communication rounds over previous distributed algorithms, in a wide regime of parameters.

研究动机与目标

• 在m台机器的分布式设置下估计主成分，每台机器持有来自同一分布的n个独立同分布样本。
• 克服由于PCA的非凸性导致的朴素平均本地ERM解无法匹配集中式ERM性能的根本局限。
• 设计一种通信高效的算法，在非凸设置下实现与集中式ERM相当的估计误差。
• 提出一种基于分布式矩阵-向量乘积的新颖迭代分布式算法，以减少通信轮次。
• 在较弱假设下（包括非零特征值间隙）提供一致性和收敛速率的理论保证。

提出的方法

• 提出一种符号修复校正步骤，通过将本地ERM解的符号对齐，避免平均过程中的抵消效应。
• 引入一种基于带预处理线性系统求解的Shift-and-Invert方法的迭代算法，以高效计算主特征向量。
• 利用分布式矩阵-向量乘积最小化通信轮次，每轮通信量每台机器仅为O(d)。
• 应用方差缩减和预处理的迭代求解器，以高概率近似求解移位线性系统。
• 采用聚合投影矩阵（本地秩-1投影的平均）作为替代聚合策略，以提高鲁棒性。
• 利用集中不等式和谱间隙假设，建立通信复杂度和估计误差的理论界。

实验结果

研究问题

• RQ1 在分布式PCA中，朴素平均本地ERM解能否实现与集中式ERM相当的估计误差？
• RQ2 当由于非凸性导致平均失效时，何种校正机制可恢复分布式PCA中的一致性？
• RQ3 通信轮次更少的迭代分布式算法能否比现有方法实现更快的收敛速度？
• RQ4 所提出的聚合方法（符号修复与投影平均）的性能如何随每台机器的样本量n变化？
• RQ5 在分布式随机PCA中，实现集中式ERM水平精度的通信复杂度是多少？

主要发现

• 由于符号模糊性和非凸性，即使使用大量机器，朴素平均本地ERM解的估计误差也无法优于单台机器的性能。
• 所提出的符号修复校正方法在n足够大时，可实现与集中式ERM解误差接近的一致估计。
• 迭代分布式算法的通信复杂度为Õ(1/√(δ√n))轮，在广泛参数范围内显著优于先前方法。
• 实验结果表明，投影平均聚合方法优于符号修复方法，并在渐近意义上达到集中式ERM精度。
• 该方法在不同数据分布（高斯分布和均匀分布）下均表现稳健，且相对于朴素平均持续保持性能优势。
• 理论分析证实，该算法以高概率将估计误差控制在O(√(ln(d/p)/(δ√n)))以内，与集中式ERM解相当。