[논문 리뷰] Sparse PCA via Covariance Thresholding

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|2013. 11. 20.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 43

한 줄 요약

이 논문은 일반적인 고차원 스케일링 하에서 정보 이론적 한계까지 최적의 서포트 복원을 달성하는 공분산 임계값 처리가 희박 주성분 분석(sparse PCA)에서 가능함을 증명한다. 희박성 수준 $ s_0 riangleq ext{supp}({f v}) $ 가 $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 를 만족할 경우, 높은 확률로 진짜 희박 주성분을 복원할 수 있다. 이 방법은 이전의 대각선 임계값 처리를 능가하며, 알려진 최고의 이론적 한계와 일치한다.

ABSTRACT

In sparse principal component analysis we are given noisy observations of a low-rank matrix of dimension $n imes p$ and seek to reconstruct it under additional sparsity assumptions. In particular, we assume here each of the principal components $\mathbf{v}_1,\dots,\mathbf{v}_r$ has at most $s_0$ non-zero entries. We are particularly interested in the high dimensional regime wherein $p$ is comparable to, or even much larger than $n$. In an influential paper, \cite{johnstone2004sparse} introduced a simple algorithm that estimates the support of the principal vectors $\mathbf{v}_1,\dots,\mathbf{v}_r$ by the largest entries in the diagonal of the empirical covariance. This method can be shown to identify the correct support with high probability if $s_0\le K_1\sqrt{n/\log p}$, and to fail with high probability if $s_0\ge K_2 \sqrt{n/\log p}$ for two constants $0

연구 동기 및 목표

• 희박 주성분 분석에서 기존 실용적 알고리즘과 이론적 보장 사이의 격차를 메우기 위해, 특히 $ p o ext{큰} $ 이고 $ n riangleq ext{표본 크기} $ 인 고차원 설정에서 서포트 복원에 초점을 맞춘다.
• 공분산 임계값 처리가 이전에 $ s_0 = O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 까지 성공할 것이라 추측되었던 바, 일반적인 고차원 스케일링 하에서 최적의 서포트 복원을 엄밀히 입증한다.
• 기존에 다루지 않은 영역에서 커널 랜덤 행렬의 노름에 대한 새로운 경계를 개발하여, 공분산 및 주성분 복원에서의 추정 오차를 정밀하게 분석할 수 있도록 한다.
• 제안된 방법이 최적의 표본 복잡도를 달성하며, 알려진 정보 이론적 하한선과 일치함을 보여주어 다항시간 희박 주성분 분석의 기본 한계를 설정한다.

제안 방법

• 표본 공분산 행렬 $ f{G} $ 의 대각선 원소 중 $ s_0 $ 개의 가장 큰 값을 선택하고, 해당하는 부분행렬으로 공분산 행렬을 제한한 후 주요 고유벡터를 계산하는 공분산 임계값 처리 알고리즘을 제안한다.
• 고차원 영역에서 $ p o ext{큰} $, $ n o ext{큰} $ 이며 $ s_0 $ 가 $ n $ 과 함께 증가하는 조건에서, 커널 랜덤 행렬의 연산자 노름에 대한 새로운 경계를 사용하여 방법을 분석한다.
• 노이즈 하에서 주성분 추정기의 편미분 분석을 수행하며, 회전 대칭성과 가우시안 이차 형식의 베르누이 타입 尾 확률 경계를 활용한다.
• 일반적인 $ n, p, s_0, r $ 스케일링 하에서 주성분 추정의 $ oldsymbol{ u} $-노름과 추정된 공분산 행렬의 연산자 노름에 대한 고확률 경계를 유도한다.
• 인덱스에 대한 유니언 바운드를 사용하고 추정 오차를 세 부분으로 철저히 분해한다: 노이즈의 스펙트럼 노름, 진짜 신호와의 정렬 오차, 서포트 불일치로 인한 잔여 편향.
• 조건이 만족될 경우, 임계값 처리된 추정기로 진짜 서포트 $ ext{supp}({f v}) $ 가 높은 확률로 복원됨을 입증한다. 조건은 $ n riangleq ext{표본 크기} riangleq ext{polylog}(p) imes s_0 $ 이며, $ eta, eta_{ ext{min}}, heta, heta $ 에 대한 조건이 수반된다.

실험 결과

연구 질문

• RQ1 고차원 스케일링 하에서 $ p riangleq ext{차원} o ext{큰} $ 이고 $ n riangleq ext{표본 크기} riangleq p $ 와 유사한 경우, 공분산 임계값 처리가 희박 주성분 분석에서 최적의 서포트 복원을 달성할 수 있는가?
• RQ2 공분산 임계값 처리를 통한 서포트 복원에 대한 최적의 표본 복잡도는 무엇이며, 알려진 정보 이론적 하한선과 일치하는가?
• RQ3 일반적인 $ n, p, s_0 $ 스케일링 하에서 희박 주성분 분석의 추정 오차를 분석하기 위해 커널 랜덤 행렬의 노름에 대한 새로운 경계를 개발할 수 있는가?
• RQ4 공분산 임계값 처리 방법은 표본 복잡도와 서포트 복원 정확도 측면에서 대각선 임계값 처리를 능가하는가?
• RQ5 이 방법이 고확률 서포트 복원을 달성하기 위한 $ eta, eta_{ ext{min}}, heta, heta $ 의 정확한 조건은 무엇인가?

주요 결과

• 공분산 임계값 처리 알고리즘은 $ n riangleq ext{표본 크기} riangleq ext{polylog}(p) imes s_0 $ 를 만족할 경우, $ eta, eta_{ ext{min}}, heta $ 에 따라 달라지는 상수에 의존하여 진짜 희박 주성분 $ f{v} $ 의 서포트를 고확률로 복원한다.
• 조건이 만족될 경우, $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 에서도 서포트를 고확률로 복원하며, 이는 알려진 최고의 이론적 경계와 일치하고 정보 이론적 한계와의 격차를 메운다.
• 기존에 분석되지 않은 고차원 영역에서 커널 랜덤 행렬의 연산자 노름에 대한 새로운 경계를 확립하여 추정 오차를 정밀하게 제어할 수 있도록 한다.
• 이 방법은 최적의 표본 복잡도를 달성한다: [BR13, MW15a] 에서 알려진 하한선과 일치하므로, 다항시간 알고리즘으로는 더 나은 성능을 낼 수 없다.
• 주성분 추정기의 $ oldsymbol{ u} $-노름 오차는 $ riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 이며, 추정된 공분산 행렬은 연산자 노름 기준으로 $ O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 의 속도로 수렴한다.
• 분석을 통해 $ ext{supp}(f{v}) riangleq ext{진짜 서포트} $ 가 $ n riangleq ext{표본 크기} riangleq ext{polylog}(p) imes s_0 $ 조건 하에서 $ eta, eta_{ ext{min}}, heta $ 에 따라 달라지는 상수에 의존하여 고확률로 복원됨을 입증한다.