[논문 리뷰] Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions

Fangzheng Xie, Yanxun Xu외 2명|arXiv (Cornell University)|2018. 08. 22.

Blind Source Separation Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 잠재因자 모델에서 로딩 행렬에 대한 새로운 행렬 스파이크-앤플레이스 LASSO 사전분포를 사용하여 고차원 희박 스파이크된 공분산 행렬을 베이지안적으로 추정하는 방법을 제안한다. 공분산 행렬(노름 연산자)과 주성분 부분공간(투영 및 두-무한대 노름 손실)에 대해 최적의 사후 수렴 속도를 확립하였으며, 특히 저질서 및 유한한 일관성 조건 하에서 두-무한대 노름 손실 하에서 더 날카운 수렴 속도를 보였다.

ABSTRACT

We propose a Bayesian methodology for estimating spiked covariance matrices with jointly sparse structure in high dimensions. The spiked covariance matrix is reparametrized in terms of the latent factor model, where the loading matrix is equipped with a novel matrix spike-and-slab LASSO prior, which is a continuous shrinkage prior for modeling jointly sparse matrices. We establish the rate-optimal posterior contraction for the covariance matrix with respect to the operator norm as well as that for the principal subspace with respect to the projection operator norm loss. We also study the posterior contraction rate of the principal subspace with respect to the two-to-infinity norm loss, a novel loss function measuring the distance between subspaces that is able to capture element-wise eigenvector perturbations. We show that the posterior contraction rate with respect to the two-to-infinity norm loss is tighter than that with respect to the routinely used projection operator norm loss under certain low-rank and bounded coherence conditions. In addition, a point estimator for the principal subspace is proposed with the rate-optimal risk bound with respect to the projection operator norm loss. These results are based on a collection of concentration and large deviation inequalities for the matrix spike-and-slab LASSO prior. The numerical performance of the proposed methodology is assessed through synthetic examples and the analysis of a real-world face data example.

연구 동기 및 목표

• 주성분 부분공간에서의 동시 희박성 조건 하에서 고차원 공분산 행렬 추정을 위한 베이지안 방법론을 개발하는 것.
• 희박한 고유벡터를 가진 고차원 스파이크된 공분산 모델에서 사후 수렴 문제를 다루는 것.
• 새로운 두-무한대 노름 손실을 포함한 다수의 손실 함수에 대해 사후 집중의 이론적 보장을 확립하는 것.
• 투영 연산자 노름 손실 하에서 최적의 수렴 속도를 갖는 주성분 부분공간에 대한 점추정량을 제안하는 것.
• 행렬 스파이크-앤플레이스 LASSO 사전분포에 대한 농도 및 대 deviation 부등식을 활용한 엄밀한 이론적 기반 제공

제안 방법

• 잠재因자 모델을 사용하여 스파이크된 공분산 행렬을 로딩 행렬 U로 재정의하는 것.
• 로딩 행렬 U에서 동시 희박성을 유도하기 위해 행렬 스파이크-앤플레이스 LASSO 사전분포를 도입하는 것.
• 공동 희박한 행렬을 모델링하기 위해 연속적인 수축 사전분포를 사용하여 효율적인 사후 계산과 이론적 분석을 가능하게 하는 것.
• 행렬 스파이크-앤플레이스 LASSO 사전분포에 특화된 농도 부등식을 사용하여 사후 수렴 속도를 확립하는 것.
• 세 가지 손실 함수인 노름 연산자, 투영 연산자, 두-무한대 노름 하에서의 사후 수렴을 분석하는 것.
• 사후 평균 기반의 점추정량을 제안하여 투영 연산자 노름 손실 하에서 최적의 수렴 속도를 달성하는 것.

실험 결과

연구 질문

• RQ1 베이지안 방법이 고차원 희박 스파이크된 공분산 행렬에 대해 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 두-무한대 노름 손실은 기존의 투영 연산자 노름 손실과 비교하여 부분공간 추정 오차를 어떻게 측정하는가?
• RQ3 행렬 스파이크-앤플레이스 LASSO 사전분포가 동시 희박성 조건 하에서 최적의 사후 집중을 가능하게 하는가?
• RQ4 다양한 손실 함수 하에서 주성분 부분공간의 사후 수렴에 대해 이론적 보장은 무엇인가?
• RQ5 사후 평균에서 유도된 점추정량이 투영 연산자 노름 손실 하에서 최소화된 위험률에 도달할 수 있는가?

주요 결과

• 공분산 행렬에 대한 사후 수렴 속도는 노름 연산자 기준으로 최적의 속도를 보였다.
• 주성분 부분공간에 대한 사후 수렴 속도는 투영 연산자 노름 손실 기준으로 최적의 속도를 보였다.
• 저질서 및 유한한 일관성 조건 하에서 두-무한대 노름 손실 기준 수렴 속도는 투영 연산자 노름 손실 기준보다 더 날카로웠다.
• 행렬 스파이크-앤플레이스 LASSO 사전분포를 통해 새로운 농도 및 대 deviation 부등식을 통해 최적의 사후 집중이 가능했다.
• 사후 평균 기반의 점추정량은 투영 연산자 노름 손실 기준으로 최소화된 위험률에 도달했다.
• 수치적 결과는 합성 데이터 및 실제 얼굴 영상 데이터에서 본 방법의 효과성, 강건성 및 해석 가능성(해석 가능성)을 확인했다.