[论文解读] Distributed Estimation of Principal Eigenspaces

Jianqing Fan, Dong Wang+2 more|arXiv (Cornell University)|Feb 21, 2017

Random Matrices and Applications参考文献 46被引用 26

一句话总结

本文提出一种分布式主成分分析（PCA）算法，其中每台机器计算其局部样本协方差矩阵的前 K 个特征向量，并将这些特征向量发送至中心服务器，由中心服务器聚合以估计全局主特征子空间。关键贡献在于证明：在对称创新分布下，该估计器无偏，且当机器数量不过分庞大时，其统计收敛速率与完整样本 PCA 相同。

ABSTRACT

Principal component analysis (PCA) is fundamental to statistical machine learning. It extracts latent principal factors that contribute to the most variation of the data. When data are stored across multiple machines, however, communication cost can prohibit the computation of PCA in a central location and distributed algorithms for PCA are thus needed. This paper proposes and studies a distributed PCA algorithm: each node machine computes the top $K$ eigenvectors and transmits them to the central server; the central server then aggregates the information from all the node machines and conducts a PCA based on the aggregated information. We investigate the bias and variance for the resulting distributed estimator of the top $K$ eigenvectors. In particular, we show that for distributions with symmetric innovation, the empirical top eigenspaces are unbiased and hence the distributed PCA is "unbiased". We derive the rate of convergence for distributed PCA estimators, which depends explicitly on the effective rank of covariance, eigen-gap, and the number of machines. We show that when the number of machines is not unreasonably large, the distributed PCA performs as well as the whole sample PCA, even without full access of whole data. The theoretical results are verified by an extensive simulation study. We also extend our analysis to the heterogeneous case where the population covariance matrices are different across local machines but share similar top eigen-structures.

研究动机与目标

• 解决在通信、隐私或安全约束下无法进行集中数据融合的海量分布式数据集上执行 PCA 的挑战。
• 设计一种通信高效的分布式 PCA 算法，通过单次通信方式避免迭代通信。
• 在一般次高斯分布与对称创新假设下，对分布式估计器在前 K 个特征子空间上的偏差与方差进行理论分析。
• 建立分布式 PCA 估计器达到与完整样本 PCA 相同统计收敛速率的条件。
• 将分析扩展至异质设置，其中局部总体协方差矩阵不同，但共享相似的主特征结构。

提出的方法

• 每台 m 台本地机器基于其子样本计算局部样本协方差矩阵的前 K 个特征向量。
• 每台机器仅将前 K 个特征向量（而非原始数据）发送至中心服务器，以最小化通信开销。
• 中心服务器通过形成传输特征向量外积的加权平均来聚合特征向量。
• 最终估计量通过计算聚合矩阵的前 K 个特征向量获得，代表一种单次通信的分布式 PCA。
• 理论分析依赖于次高斯分布与对称创新假设下特征值和特征子空间的集中不等式与扰动界。
• 通过建模局部协方差矩阵具有共享主特征结构但低秩分量不同的方式，将方法扩展至异质设置。

实验结果

研究问题

• RQ1 在何种条件下，分布式 PCA 估计器是无偏的，特别是针对经验特征子空间？
• RQ2 分布式估计器的统计性能如何依赖于机器数量、有效秩、特征值间隔与总样本量？
• RQ3 在未访问完整数据集的情况下，单次通信分布式 PCA 是否能实现与完整样本 PCA 相同的收敛速率？
• RQ4 当机器数量超过合理阈值时，性能如何退化？
• RQ5 该方法在多大程度上能处理局部协方差结构的异质性，同时保持统计准确性？

主要发现

• 对于具有对称创新的分布，经验前特征子空间无偏，使得分布式 PCA 估计器无条件无偏。
• 分布式估计器的收敛速率明确依赖于协方差的有效秩、特征值间隔与机器数量。
• 当机器数量不过分庞大时，分布式 PCA 实现了与完整样本 PCA 相同的统计性能，即使无法访问完整数据集。
• 模拟结果证实，只要子样本大小 n 足够大，随着 m 增加，统计误差保持稳定，当 m 超过阈值（log m ≥ 5）时仅出现轻微退化。
• 即使每台机器仅通信 K 个特征向量，该方法的性能仍与完整样本 PCA 相当，表明具有极高的通信效率。
• 将通信扩展至包含五个额外的前导特征向量（DP5）仅带来边际改进，证实 K 个特征向量已足够实现最优性能。