[논문 리뷰] RSVP-graphs: Fast High-dimensional Covariance Matrix Estimation under Latent Confounding

Rajen D. Shah, Benjamin Frot외 2명|arXiv (Cornell University)|2018. 11. 02.

Statistical Methods and Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 관측 데이터를 데이터 행렬의 우측 특이벡터에 투영하여 잠재 공액인자에 의한 휘어짐이 있는 상황에서 고차원 공분산 행렬을 신속하고 스케일러블하게 추정하는 RSVP-그래프를 제안한다. 이 방법은 진짜 공분산을 알려지지 않은 스케일 인자만큼 복원하므로, 공분산 행렬의 상관관계 행렬 추정이나 네트워크 구조 추론에 대해 강건한 추정이 가능하며, 특히 잠재 요인과 이질적 노이즈의 고유값 간 격차가 작을 경우에도 유용하다.

ABSTRACT

In this work we consider the problem of estimating a high-dimensional $p imes p$ covariance matrix $Σ$, given $n$ observations of confounded data with covariance $Σ+ ΓΓ^T$, where $Γ$ is an unknown $p imes q$ matrix of latent factor loadings. We propose a simple and scalable estimator based on the projection on to the right singular vectors of the observed data matrix, which we call RSVP. Our theoretical analysis of this method reveals that in contrast to PCA-based approaches, RSVP is able to cope well with settings where the smallest eigenvalue of $Γ^T Γ$ is close to the largest eigenvalue of $Σ$, as well as settings where the eigenvalues of $Γ^T Γ$ are diverging fast. It is also able to handle data that may have heavy tails and only requires that the data has an elliptical distribution. RSVP does not require knowledge or estimation of the number of latent factors $q$, but only recovers $Σ$ up to an unknown positive scale factor. We argue this suffices in many applications, for example if an estimate of the correlation matrix is desired. We also show that by using subsampling, we can further improve the performance of the method. We demonstrate the favourable performance of RSVP through simulation experiments and an analysis of gene expression datasets collated by the GTEX consortium.

연구 동기 및 목표

• 관측되지 않은 잠재 요인에 의해 휘어진 데이터에서 고차원 공분산 행렬을 추정하는 문제에 대응하기 위해.
• 잠재 요인 로딩 행렬의 고유값이 진짜 공분산 행렬의 고유값과 잘 분리되어 있지 않더라도 효과적으로 작동하는 계산적으로 효율적인 방법을 개발하기 위해.
• 진짜 공분산 행렬 Σ를 알려지지 않은 양의 스케일 인자까지 복원하는 것. 이는 상관관계 행렬 추정이나 네트워크 탐색과 같은 응용에 충분하다.
• 잠재 요인의 수 q를 추정할 필요를 피하기 위해. 이는 실무에서 흔히 알려져 있지 않으며 식별하기 어려운 경우가 많기 때문이다.
• 유한 표본 성능을 향상시키기 위해 서브샘플링을 적용하면서도 이론적 일致성과 타원 분포 하에서의 강건성을 유지하기 위해.

제안 방법

• 행렬 X의 열 중심화된 데이터 행렬에서의 우측 특이벡터 V를 사용하여 추정기 Σ̂_rsvp = VV^T를 구성하며, 이를 오른쪽 특이벡터 투영(Right Singular Vector Projection, RSVP)이라 한다.
• 이 방법은 본질적으로 스케일 불변이며, 공분산을 알려지지 않은 양의 스케일 인자까지 복원하므로 상관관계 행렬 추정 및 네트워크 구조 학습에 충분하다.
• 잠재 요인의 수 q를 안다거나 추정할 필요가 없어, 고차원 설정에서 고유값 분리가 약하거나 겹치는 경우에도 강건하다.
• 유한 표본 성능 향상과 추정기의 안정성 향상을 위해 서브샘플링을 적용한다.
• 이론적 분석에 따르면 RSVP는 Γ^TΓ의 최소 고유값이 Σ의 최대 고유값과 가까운 경우에도 일관성을 유지한다.
• 이 방법은 분포 강건성도 확보한다: 데이터 행렬의 행이 타원 분포를 따를 경우, 추정기의 분포가 가우시안일 때와 동일하며, 이를 Proposition 4에서 입증하였다.

실험 결과

연구 질문

• RQ1 잠재 요인의 수를 알지 못하더라도, 잠재 공액인자에 의한 휘어짐이 있는 상황에서 고차원 공분산 행렬을 추정할 수 있는 빠르고 스케일러블한 방법이 존재하는가?
• RQ2 잠재 요인과 이질적 노이즈의 고유값 간 격차가 작거나 존재하지 않을 경우, 이 방법은 어떻게 성능을 발휘하는가?
• RQ3 추정기의 스케일 불변성은 상관관계 행렬 추정이나 네트워크 탐색과 같은 후속 추론에 어느 정도 영향을 미치는가?
• RQ4 서브샘플링은 추정기의 유한 표본 성능을 향상시키며 이론적 일관성을 유지하는가?
• RQ5 비정규 타원 분포 하에서도 이 방법은 강건성을 유지하는가?

주요 결과

• RSVP는 Γ^TΓ의 최소 고유값이 Σ의 최대 고유값과 가까운 경우에도 진짜 공분산 행렬 Σ를 알려지지 않은 스케일 인자까지 일관성 있게 복원한다.
• 기존의 주성분 제거 방법이 고유값 분리가 없거나 상위 주성분 추정이 불안정할 경우 실패하는 상황에서도 이 방법은 효과적으로 작동한다.
• 이론적 분석을 통해 RSVP는 고유값이 급격히 발산하는 경우를 포함한 광범위한 고차원 모델 클래스에서 일관성을 유지함을 확인하였다.
• 서브샘플링은 특히 중간에서 고차원 설정에서 추정기의 유한 표본 성능을 크게 향상시킨다.
• 추정기는 분포 강건성 확보: 타원 분포 하에서는 그 표본 분포가 가우시안일 때와 동일하며, Proposition 4에서 증명하였다.
• GTEX 유전자 발현 데이터에 대한 실증 검증 결과, RSVP는 생물학적으로 관련된 경로를 더 잘 강화하고 정확한 유전자 네트워크를 구성하는 데 기존 방법들을 능가한다.