[論文レビュー] Limit results for distributed estimation of invariant subspaces in multiple networks inference and PCA

Runbing Zheng, Minh Tang|arXiv (Cornell University)|Jun 9, 2022

Random Matrices and Applications被引用数 4

ひとこと要約

本稿では、不変部分空間を共有する行列の主特異ベクトルの分散推定手法を提案する。投影行列の平均化と固有分解を用いる。一様な $ℓ_{2\to\infty}$ 誤差バインディングを確立し、サブガウス型またはランダムグラフモデル下で、推定された特異ベクトルの行方向のフラクチュエーションが漸近的に正規分布に従うことを示し、複数のネットワークやPCA設定において有効な推論を可能にする。

ABSTRACT

Several statistical problems, such as multiple heterogeneous graph analysis, distributed PCA, integrative data analysis, and simultaneous dimension reduction of images, can involve a collection of $m$ matrices whose leading subspaces $U^{(i)}$ consist of a shared subspace $U_c$ and individual subspaces $U_s^{(i)}$. We consider a distributed estimation procedure that first obtains $\hat U^{(i)}$ as the leading singular vectors for each observed noisy matrix, then computes the leading left singular vectors of the concatenated matrix $[\hat U^{(1)}|\hat U^{(2)}|\dots|\hat U^{(m)}]$ as $\hat U_c$, and finally computes the leading singular vectors of the projection of each $\hat U^{(i)}$ onto the orthogonal complement of $\hat U_c$ as $\hat U_s^{(i)}$. In this paper, we provide a framework for deriving limit results for such distributed estimation procedures, including expansions of estimation errors in both common and individual subspaces and their asymptotically normal approximations. We apply this framework specifically to (1) parameter estimation for multiple heterogeneous random graphs with shared subspaces, and (2) distributed PCA for independent sub-Gaussian random vectors with spiked covariance structures. Leveraging these results, we also consider a two-sample test for the null hypothesis that a pair of random graphs have the same edge probabilities, and present a test statistic whose limiting distribution converges to a central (resp., non-central) $χ^2$ distribution under the null (resp., local alternative) hypothesis.

研究の動機と目的

• 複数の行列間で共有される主特異部分空間の理論的裏付けのある分散推定手順を開発すること。
• 既存手法に見られる一様誤差バインディングや分散近似の欠如という限界を是正すること。
• サブガウス型およびランダムグラフモデル下で、推定された特異ベクトルの行方向フラクチュエーションの漸近的正規性を確立すること。
• 異種のネットワークやデータ構造を伴う分散環境において、2標本仮説検定などの有効な統計的推論を可能にすること。
• 分散PCA、複数ネットワーク推論（例：COSIEモデル）、統合的データ解析に一般に適用可能なフレームワークを提供すること。

提案手法

• 各ノードで個々の行列の主特異部分空間への投影行列を推定する。
• すべてのノードにおけるこれらの投影行列の平均を計算する。
• 平均化された投影行列の主固有ベクトルを、不変部分空間の最終推定値として用いる。
• サブガウス型およびランダムグラフ仮定下での確率的行列積の濃縮不等式とスペクトルノルムバインディングに依拠する解析を行う。
• 摂動展開における残差項の $2\to\infty$ ノルムを制御することで、一様な $ℓ_{2\to\infty}$ 誤差バインディングを導出する。
• フラクチュエーション項に対する中心極限定理により、行方向推定誤差の漸近的正規性を確立する。

実験結果

リサーチクエスチョン

• RQ1 複数の行列における不変部分空間の分散推定に対して、一様な $ℓ_{2\to\infty}$ 誤差バインディングを確立できるか？
• RQ2 サブガウス型またはランダムグラフモデル下で、推定された特異ベクトルの行方向フラクチュエーションは正規分布に収束するか？
• RQ3 推定精度と推論の有効性という観点から、提案手法の分散推定量は中央集中推定量と比較してどうなるか？
• RQ4 ランダムグラフにおけるエッジ確率の等価性に関する2標本仮説検定を、本手法が有効にサポートできるか？
• RQ5 ネットワークの非均質性とサンプルサイズは、分散推定量の収束速度にどのような影響を与えるか？

主な発見

• 提案された分散アルゴリズム下で、推定された特異ベクトルの行方向フラクチュエーションは、真の特異ベクトルの周囲で漸近的に正規分布に従う。
• 推定量の一様 $ℓ_{2\to\infty}$ 誤差バインディングは、$d^{1/2}n^{-1/2}D^{-\gamma}\log^{1/2}n$ のオーダーであり、$n,D \to \infty$ の下で消える。
• エッジ確率の等価性に関する2標本検定統計量は、局所代替仮説下で非心 $\chi^2$ に分布収束し、帰無仮説下では中心 $\chi^2$ に収束する。
• 推定量の摂動展開における主要項は、中心極限定理から導かれる形と一致しており、正規近似の妥当性が裏付けられる。
• モデル条件の下で、展開における低次の残差項は、スペクトルノルムおよび $2\to\infty$ ノルムの両方で無視可能である。
• 隣接行列やデータ行列などの元の行列がノード間で非均質であっても、本手法は一貫した推定と有効な推論を達成する。