[논문 리뷰] Limit results for distributed estimation of invariant subspaces in multiple networks inference and PCA

Runbing Zheng, Minh Tang|arXiv (Cornell University)|2022. 06. 09.

Random Matrices and Applications인용 수 4

한 줄 요약

이 논문은 동일한 불변 부분공간을 공유하는 행렬의 주특이벡터에 대한 분산 추정 방법을 제안한다. 이 방법은 투영 행렬의 평균화와 고유분해를 통해 이루어지며, 균일한 $ℓ_{2\to\infty}$ 오차 한계를 확립하고, 주특이벡터의 행별 변동이 渐近적으로 정규분포를 이룬다는 것을 보여주어, 서브가우시안 또는 무작위 그래프 모델 하에서 다중 네트워크 및 PCA 설정에서 타당한 추론을 가능하게 한다.

ABSTRACT

Several statistical problems, such as multiple heterogeneous graph analysis, distributed PCA, integrative data analysis, and simultaneous dimension reduction of images, can involve a collection of $m$ matrices whose leading subspaces $U^{(i)}$ consist of a shared subspace $U_c$ and individual subspaces $U_s^{(i)}$. We consider a distributed estimation procedure that first obtains $\hat U^{(i)}$ as the leading singular vectors for each observed noisy matrix, then computes the leading left singular vectors of the concatenated matrix $[\hat U^{(1)}|\hat U^{(2)}|\dots|\hat U^{(m)}]$ as $\hat U_c$, and finally computes the leading singular vectors of the projection of each $\hat U^{(i)}$ onto the orthogonal complement of $\hat U_c$ as $\hat U_s^{(i)}$. In this paper, we provide a framework for deriving limit results for such distributed estimation procedures, including expansions of estimation errors in both common and individual subspaces and their asymptotically normal approximations. We apply this framework specifically to (1) parameter estimation for multiple heterogeneous random graphs with shared subspaces, and (2) distributed PCA for independent sub-Gaussian random vectors with spiked covariance structures. Leveraging these results, we also consider a two-sample test for the null hypothesis that a pair of random graphs have the same edge probabilities, and present a test statistic whose limiting distribution converges to a central (resp., non-central) $χ^2$ distribution under the null (resp., local alternative) hypothesis.

연구 동기 및 목표

• 다양한 행렬 간에 공유되는 주특이 부분공간에 대한 이론적으로 탄탄한 분산 추정 절차를 개발하는 것.
• 기존 방법들이 균일한 오차 한계와 분포 근사치를 갖지 못하는 한계를 해결하는 것.
• 서브가우시안 및 무작위 그래프 모델 하에서 추정된 특이벡터의 행별 변동이 渐近적으로 정규분포를 이룬다는 것을 확립하는 것.
• 이질적인 네트워크 또는 데이터 구조를 가진 분산 환경에서 두 표본 가설 검정과 같은 타당한 통계적 추론을 가능하게 하는 것.
• 분산 PCA, 다중 네트워크 추론(예: COSIE 모델), 통합 데이터 분석에 일반적으로 적용 가능한 프레임워크를 제공하는 것.

제안 방법

• 각 개별 행렬의 주특이 부분공간에 대한 투영 행렬을 분산된 노드에서 추정한다.
• 모든 노드에서 이러한 투영 행렬의 평균을 계산한다.
• 평균화된 투영 행렬의 주특이벡터를 불변 부분공간의 최종 추정치로 사용한다.
• 분석은 서브가우시안 및 무작위 그래프 가정 하에서 랜덤 행렬의 곱에 대한 농도 부등식과 스펙트럼 노름 한계에 기반한다.
• 편미분 전개에서 잔차 항의 $2\to\infty$ 노름을 통제하여 균일한 $ℓ_{2\to\infty}$ 오차 한계를 유도한다.
• 변동 항에 대한 중심극한정리에 의해 행별 추정 오차의 渐近 정규성을 확립한다.

실험 결과

연구 질문

• RQ1 다양한 행렬에서 불변 부분공간의 분산 추정에 대해 균일한 $ℓ_{2\to\infty}$ 오차 한계를 확립할 수 있는가?
• RQ2 서브가우시안 또는 무작위 그래프 모델 하에서 추정된 특이벡터의 행별 변동이 정규분포로 수렴하는가?
• RQ3 제안된 분산 추정기의 정확도와 추론 타당성 측면에서 중심화된 추정기와 비교해 볼 때 어떤가?
• RQ4 무작위 그래프에서 간선 확률 동일성에 대한 두 표본 가설 검정을 수행할 수 있는가?
• RQ5 네트워크의 이질성과 표본 크기가 분산 추정기의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 분산 알고리즘 하에서 추정된 특이벡터의 행별 변동은 진짜 특이벡터를 중심으로 渐近적으로 정규분포를 이룬다.
• 추정기의 균일한 $ℓ_{2\to\infty}$ 오차 한계는 $d^{1/2}n^{-1/2}D^{-\gamma}\log^{1/2}n$ 의 주기로 나타나며, $n,D \to \infty$ 일 때 0으로 수렴한다.
• 간선 확률 동일성에 대한 두 표본 검정 통계량은 국소 대립가설 하에서 비중앙 $\chi^2$ 분포로 수렴하고, 귀무가설 하에서는 중심 $\chi^2$ 분포로 수렴한다.
• 추정기의 편미분 전개에서 주요 항은 중심극한정리로부터 유도된 형태와 일치하며, 정규근사의 타당성을 검증한다.
• 모델 조건이 만족될 경우, 전개에서의 고차항 잔차 항들은 스펙트럼 노름과 $2\to\infty$ 노름 모두에서 무시할 수 있다.
• 이론적 행렬(예: 인접행렬 또는 데이터 행렬)이 노드 간에 이질적일지라도, 이 방법은 일관된 추정과 타당한 추론을 달성한다.