[논문 리뷰] Bayesian Low Rank and Sparse Covariance Matrix Decomposition

Lin Zhang, Abhra Sarkar외 1명|arXiv (Cornell University)|2013. 10. 15.

Statistical Methods and Inference참고 문헌 37인용 수 5

한 줄 요약

이 논문은 잠재因자 수가 미리 알려지지 않은因자 모델을 사용하여 고차원 공분산 행렬을 저랭크 및 희소 성분으로 분해하는 베이지안 방법을 제안한다. 인자 선택을 위한 이진 지표와 희소성에 대한 베이지안 라소를 조합함으로써, 시뮬레이션에서 랭크 및 희소성 구조를 성공적으로 복원한다. 이는 분해 가능 그래프에 대해 초역위시어트 사전분포를 사용하는 그래픽 인자 모델과 일반 그래프에 대해 베이지안 그래픽 라소를 적용하여 확장된다.

ABSTRACT

We consider the problem of estimating high-dimensional covariance matrices of a particular structure, which is a summation of low rank and sparse matrices. This covariance structure has a wide range of applications including factor analysis and random effects models. We propose a Bayesian method of estimating the covariance matrices by representing the covariance model in the form of a factor model with unknown number of latent factors. We introduce binary indicators for factor selection and rank estimation for the low rank component combined with a Bayesian lasso method for the sparse component estimation. Simulation studies show that our method can recover the rank as well as the sparsity of the two components respectively. We further extend our method to a graphical factor model where the graphical model of the residuals as well as selecting the number of factors is of interest. We employ a hyper-inverse Wishart prior for modeling decomposable graphs of the residuals, and a Bayesian graphical lasso selection method for unrestricted graphs. We show through simulations that the extended models can recover both the number of latent factors and the graphical model of the residuals successfully when the sample size is sufficient relative to the dimension.

연구 동기 및 목표

• 고차원 공분산 행렬에 대해 저랭크 + 희소 구조를 가지는 안정적인 베이지안 추정기법 개발
• 잔차 공분산 행렬의 잠재 인자 수와 희소성 패턴을 동시에 추정
• 빈도주의 점 추정의 한계를 극복하기 위해 랭크 및 희소성 추정의 불확실성 정량화 가능
• 잔차의 조건부 독립 구조가 관심 대상인 그래픽 인자 모델으로의 방법 확장
• 공액 사전분포와 MCMC 샘플링을 통한 후행 추론을 위한 완전한 베이지안 프레임워크 제공

제안 방법

• 저랭크 성분 $ L $ 를 특이값 분해 $ L = M D_{\tau} M^T $ 로 표현하며, 여기서 $ M $ 은 인자 적재 행렬이고 $ D_{\tau} $ 는 제곱 특이값을 포함한다.
• 모든 잠재 인자에 대해 이진 지표를 도입하여 자동 인자 선택 및 랭크 추정을 수행한다.
• 희소 성분 $ S $ 의 비대각성 원소에 베이지안 라소 사전분포를 적용하여 희소성을 유지하면서도 정규행렬 성질을 확보한다.
• 그래프 모델이 분해 가능할 경우 잔차 공분산 행렬 $ S $ 에 초역위시어트 사전분포를 사용한다.
• 비분해 가능한 그래프 모델에 대해서는 베이지안 그래픽 라소를 적용하여 구조 학습의 유연성을 확보한다.
• 공액 사전분포와 행렬 항등식을 활용해 모든 매개변수의 완전한 조건부 분포를 유도하고, 효율적인 MCMC 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 베이지안 방법을 통해 고차원 공분산 행렬에서 잠재 인자 수와 희소성 패턴을 동시에 추정할 수 있는가?
• RQ2 제안된 방법이 저랭크 성분의 진짜 랭크와 잔차 공분산 행렬의 희소성 구조를 정확히 복원하는가?
• RQ3 표본 크기가 충분할 경우, 표본 크기가 충분할 때 잔차의 조건부 독립 구조와 함께 잠재 인자 수가 모두 알려지지 않은 그래픽 인자 모델에서 이 방법의 성능은 어떠한가?
• RQ4 이진 지표와 베이지안 라소의 사용이 빈도주의 정규화 방법보다 더 나은 불확실성 정량화를 이끌 수 있는가?
• RQ5 표본 크기가 차원에 비해 변할 때 이 방법의 성능은 어떠한가?

주요 결과

• 표본 크기가 차원에 비해 중간일지라도 시뮬레이션 연구에서 저랭크 성분의 진짜 랭크를 성공적으로 복원한다.
• 희소 성분은 정확하게 추정되며, 베이지안 라소가 잔차 공분산 행렬의 비대각성 원소 중 0을 효과적으로 식별한다.
• 그래픽 인자 모델의 경우 충분한 표본 크기가 확보되면 잠재 인자 수와 잔차의 조건부 독립 구조를 모두 정확히 식별한다.
• 초역위시어트 사전분포의 사용은 분해 가능한 그래픽 모델에 대해 타당한 후행 추론과 적절한 구조 학습을 가능하게 한다.
• 베이지안 라소 구성요소는 잔차 공분산 행렬에 효과적으로 희소성을 유도하며, 후행 포함 확률이 진짜 희소성 패턴과 일치한다.
• MCMC 샘플링은 효율적으로 수렴하며, 랭크 및 희소성에 대한 후행 분포는 신뢰할 수 있는 불확실성 추정을 제공한다.