[论文解读] Limit results for distributed estimation of invariant subspaces in multiple networks inference and PCA

Runbing Zheng, Minh Tang|arXiv (Cornell University)|Jun 9, 2022

Random Matrices and Applications被引用 4

一句话总结

该论文提出了一种用于共享不变子空间的矩阵的分布式估计方法，通过投影矩阵的平均化结合特征分解实现。该方法建立了统一的 $ℓ_{2\to\infty}$ 误差界，并证明了估计奇异向量的行向波动在渐近下服从正态分布，从而在子高斯或随机图模型下，为多网络和PCA设置提供了有效的统计推断。

ABSTRACT

Several statistical problems, such as multiple heterogeneous graph analysis, distributed PCA, integrative data analysis, and simultaneous dimension reduction of images, can involve a collection of $m$ matrices whose leading subspaces $U^{(i)}$ consist of a shared subspace $U_c$ and individual subspaces $U_s^{(i)}$. We consider a distributed estimation procedure that first obtains $\hat U^{(i)}$ as the leading singular vectors for each observed noisy matrix, then computes the leading left singular vectors of the concatenated matrix $[\hat U^{(1)}|\hat U^{(2)}|\dots|\hat U^{(m)}]$ as $\hat U_c$, and finally computes the leading singular vectors of the projection of each $\hat U^{(i)}$ onto the orthogonal complement of $\hat U_c$ as $\hat U_s^{(i)}$. In this paper, we provide a framework for deriving limit results for such distributed estimation procedures, including expansions of estimation errors in both common and individual subspaces and their asymptotically normal approximations. We apply this framework specifically to (1) parameter estimation for multiple heterogeneous random graphs with shared subspaces, and (2) distributed PCA for independent sub-Gaussian random vectors with spiked covariance structures. Leveraging these results, we also consider a two-sample test for the null hypothesis that a pair of random graphs have the same edge probabilities, and present a test statistic whose limiting distribution converges to a central (resp., non-central) $χ^2$ distribution under the null (resp., local alternative) hypothesis.

研究动机与目标

• 开发一种理论基础坚实的分布式估计程序，用于多个矩阵之间共享的主要奇异子空间。
• 解决现有方法缺乏统一误差界和分布式估计器的分布近似的问题。
• 在子高斯和随机图模型下，建立估计奇异向量行向波动的渐近正态性。
• 在具有异质网络或数据结构的分布式环境中，支持有效的统计推断（如两样本假设检验）。
• 提供一个通用框架，适用于分布式PCA、多网络推断（如COSIE模型）以及整合数据分析。

提出的方法

• 该方法在分布式节点上分别估计每个矩阵的主要奇异子空间的投影矩阵。
• 计算所有节点上这些投影矩阵的平均值。
• 将平均投影矩阵的主特征向量用作不变子空间的最终估计。
• 分析依赖于在子高斯和随机图假设下，对随机矩阵积的集中不等式和谱范数界。
• 通过控制扰动展开中残差项的 $2\to\infty$ 范数，推导出统一的 $ℓ_{2\to\infty}$ 误差界。
• 通过波动项的中心极限定理，建立行向估计误差的渐近正态性。

实验结果

研究问题

• RQ1 我们能否为多个矩阵中不变子空间的分布式估计建立统一的 $ℓ_{2\to\infty}$ 误差界？
• RQ2 在子高斯或随机图模型下，估计奇异向量的行向波动是否收敛到正态分布？
• RQ3 与集中式估计器相比，所提出的分布式估计器在估计精度和推断有效性方面表现如何？
• RQ4 该方法能否支持随机图中边概率相等性的有效两样本假设检验？
• RQ5 网络异质性和样本大小对分布式估计器收敛速度有何影响？

主要发现

• 在所提出的分布式算法下，估计奇异向量的行向波动围绕真实奇异向量渐近服从正态分布。
• 估计器的统一 $ℓ_{2\to\infty}$ 误差界为 $d^{1/2}n^{-1/2}D^{-\gamma}\log^{1/2}n$ 阶，当 $n,D \to \infty$ 时趋于零。
• 在局部替代假设下，边概率相等性的两样本检验统计量收敛于非中心 $\chi^2$ 分布；在原假设下收敛于中心 $\chi^2$ 分布。
• 估计器扰动展开的主导项与中心极限定理导出的形式一致，验证了正态近似的合理性。
• 在所假设的模型条件下，展开中的低阶残差项在谱范数和 $2\to\infty$ 范数下均可忽略。
• 即使在底层矩阵（如邻接矩阵或数据矩阵）在各节点间存在异质性时，该方法仍能实现一致估计和有效推断。