[논문 리뷰] De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices

Jana Janková, Sara van de Geer|arXiv (Cornell University)|2018. 01. 31.

Random Matrices and Applications참고 문헌 28인용 수 15

한 줄 요약

이 논문은 고차원 설정에서 큰 공분산 행렬의 고유구조에 대한 추론을 위한 비편향 처리된 희소 주성분 분석(PCA) 방법을 제안한다 (p ≫ n). Lasso 페널라이제이션을 적용한 M-추정량의 편향을 비편향 처리 절차를 통해 교정함으로써, 저자들은 개별 적재값과 최대 고유값에 대해 점점 정규성을 확립하였으며, √n/log p 순서의 희소성 가정 하에 타당한 신뢰구간과 가설 검정을 가능하게 하였다.

ABSTRACT

Sparse principal component analysis (sPCA) has become one of the most widely used techniques for dimensionality reduction in high-dimensional datasets. The main challenge underlying sPCA is to estimate the first vector of loadings of the population covariance matrix, provided that only a certain number of loadings are non-zero. In this paper, we propose confidence intervals for individual loadings and for the largest eigenvalue of the population covariance matrix. Given an independent sample $X^i \in\mathbb R^p, i = 1,...,n,$ generated from an unknown distribution with an unknown covariance matrix $Σ_0$, our aim is to estimate the first vector of loadings and the largest eigenvalue of $Σ_0$ in a setting where $p\gg n$. Next to the high-dimensionality, another challenge lies in the inherent non-convexity of the problem. We base our methodology on a Lasso-penalized M-estimator which, despite non-convexity, may be solved by a polynomial-time algorithm such as coordinate or gradient descent. We show that our estimator achieves the minimax optimal rates in $\ell_1$ and $\ell_2$-norm. We identify the bias in the Lasso-based estimator and propose a de-biased sparse PCA estimator for the vector of loadings and for the largest eigenvalue of the covariance matrix $Σ_0$. Our main results provide theoretical guarantees for asymptotic normality of the de-biased estimator. The major conditions we impose are sparsity in the first eigenvector of small order $\sqrt{n}/\log p$ and sparsity of the same order in the columns of the inverse Hessian matrix of the population risk.

연구 동기 및 목표

• p ≫ n 인 경우 고차원 공분산 행렬의 첫 번째 고유벡터와 최대 고유값에 대한 추론 문제를 다루는 것.
• Lasso 페널라이제이션으로 인해 발생하는 희소 PCA 추정의 본질적 비볼록성과 편향을 극복하는 것.
• 적재값과 고유값에 대해 점점 정규성을 확보하는 비편향 처리된 추정량을 개발하여, 신뢰구간과 가설 검정을 가능하게 하는 것.
• 희소성 제약 조건 하에서 희소 적재 벡터에 대해 ℓ₁ 및 ℓ₂ 노름에서 최소 최대 최적 추정 속도를 확립하는 것.
• 첫 번째 고유벡터와 역 헤시안 행렬의 열에 대해 √n/log p 순서의 희소성 조건 하에서 추론에 대한 이론적 보장을 제공하는 것.

제안 방법

• 모수 공분산 행렬의 첫 번째 고유벡터를 위한 Lasso 페널라이제이션을 적용한 M-추정량에 기반한 방법으로, 비볼록성에도 불구하고 좌표 또는 경사하강법을 통해 계산 가능하다.
• Lasso 기반 추정량의 추정 편향을 교정하기 위해 비편향 처리 절차를 적용하여, 적재 벡터와 최대 고유값에 대한 비편향 추정량을 도출한다.
• 비편향 추정량은 모수 위험 함수의 역 헤시안 행렬의 열과 함께 첫 번째 고유벡터에 대해 √n/log p 순서의 희소성 가정 하에 점점 정규성을 보임을 입증한다.
• 이론적 분석은 경험 과정를 제어하기 위해 범주적 추론과 농도 불등식을 활용하며, 표본 공분산 행렬의 편차 행렬의 ℓ∞-노름에 대한 경계를 사용한다.
• 이 방법은 가정된 희소성 체제 하에서 Lasso 추정량의 최소 최대 최적 성능을 ℓ₁ 및 ℓ₂ 노름에서 확립한다.
• 이론적 보장은 경험 과정 이론, 볼록 이완 기법, 그리고 희소 벡터의 볼록 껍질을 사용하여 비편향 오차를 제어하는 데에 기반한다.

실험 결과

연구 질문

• RQ1 p ≫ n 인 고차원 희소 PCA에서 개별 적재값에 대해 타당한 신뢰구간을 구성할 수 있는가?
• RQ2 희소성 제약 조건 하에서 공분산 행렬의 첫 번째 고유벡터와 최대 고유값에 대한 비편향 추정량이 점점 정규성을 확보하는가?
• RQ3 고차원 희소 PCA에서 일관된 추정과 타당한 추론을 위해 필요한 최소 희소성 조건은 무엇인가?
• RQ4 Lasso 기반 희소 PCA 추정량의 편향은 추론에 어떤 영향을 미치며, 효과적으로 교정될 수 있는가?
• RQ5 비편향 처리된 고차원 희소 PCA 추정량이 ℓ₁ 및 ℓ₂ 노름에서 최소 최대 최적 속도를 달성하는 조건은 무엇인가?

주요 결과

• 첫 번째 고유벡터에 대한 비편향 처리된 희소 PCA 추정량은 적재값의 비제로 요소 수가 √n/log p 순서인 희소성 조건 하에서 점점 정규성을 확보한다.
• 최대 고유값 추정량 역시 점점 정규성을 보이며, 이는 주요 고유값에 대한 타당한 신뢰구간과 가설 검정을 가능하게 한다.
• 동일한 희소성 체제 하에서 Lasso 페널라이제이션을 적용한 M-추정량은 ℓ₁ 및 ℓ₂ 노름에서 최소 최대 최적 속도를 달성한다.
• Lasso 추정량의 편향은 공식적으로 규명되고 비편향 처리 절차를 통해 교정되며, 이로 인해 점점 정규성이 복원된다.
• 개별 적재값과 최대 고유값에 대해 타당한 신뢰구간이 제공되며, 이들의 커버리지 확률은 渐近적으로 명목 수준에 수렴한다.
• 피킹 및 농도 기법을 사용하여 표본 공분산 행렬과 모수 행렬 간의 편차에 대한 이론적 경계를 확립하였으며, 이는 고차원 희소성 하에서도 강건성을 보장한다.