[논문 리뷰] Optimal Covariance Estimation for Condition Number Loss in the Spiked Model

David L. Donoho, Behrooz Ghorbani|arXiv (Cornell University)|2018. 10. 17.

Random Matrices and Applications참고 문헌 45인용 수 6

한 줄 요약

이 논문은 변수 수 $p$와 관측 수 $n$ 이 비례적으로 증가하는 스피iked 공분산 모형에서 상대 조건수 손실 하에 점점 더 최적의 비선형 수축기(nonlinear shrinker)를 유도한다. 최적의 수축기는 비율 $\gamma = p/n$ 과 최대 고유값에 의존하며, 뚜렷한 특성을 보인다: $\gamma \gg 1$ 인 경우, 큰 고유값은 $1/(1+\gamma)$ 배로 수축되고, 중간 정도의 $\gamma$ 인 경우, 매우 유의미한 고유성분이 억제되어 고차원적 환경에서 순수하게 대각 행렬 추정기들이 최적의 성능을 발휘한다.

ABSTRACT

We study estimation of the covariance matrix under relative condition number loss $κ(Σ^{-1/2} \hatΣ Σ^{-1/2})$, where $κ(Δ)$ is the condition number of matrix $Δ$, and $\hatΣ$ and $Σ$ are the estimated and theoretical covariance matrices. Optimality in $κ$-loss provides optimal guarantees in two stylized applications: Multi-User Covariance Estimation and Multi-Task Linear Discriminant Analysis. We assume the so-called spiked covariance model for $Σ$, and exploit recent advances in understanding that model, to derive a nonlinear shrinker which is asymptotically optimal among orthogonally-equivariant procedures. In our asymptotic study, the number of variables $p$ is comparable to the number of observations $n$. The form of the optimal nonlinearity depends on the aspect ratio $γ=p/n$ of the data matrix and on the top eigenvalue of $Σ$. For $γ> 0.618...$, even dependence on the top eigenvalue can be avoided. The optimal shrinker has two notable properties. First, when $p/n ightarrow γ\gg 1$ is large, it shrinks even very large eigenvalues substantially, by a factor $1/(1+γ)$. Second, even for moderate $γ$, certain highly statistically significant eigencomponents will be completely suppressed. We show that when $γ\gg 1$ is large, purely diagonal covariance matrices can be optimal, despite the top eigenvalues being large and the empirical eigenvalues being highly statistically significant. This aligns with practitioner experience. We identify intuitively reasonable procedures with small worst-case relative regret - the simplest being generalized soft thresholding having threshold at the bulk edge and slope $(1+γ)^{-1}$ above the bulk. For $γ< 2$ it has at most a few percent relative regret.

연구 동기 및 목표

• 스피iked 공분산 모형에서 상대 조건수 손실 하에 점점 더 최적의 수축기(nonlinear shrinker)를 유도하기 위해.
• 직교 불변 추정 절차들 중에서 조건수 손실을 최소화하는 고유값 수축의 최적 비선형성(nonlinearity)을 규명하기 위해.
• 큰 최대 고유값이 존재함에도 불구하고 순수하게 대각 공분산 추정기가 최적일 수 있는 영역를 규명하기 위해.
• 실제 수축 절차들의 최악의 상대적 후회(relative regret)를 정량화하고, 후회가 최소인 절차를 식별하기 위해.
• 비례 증가 점근적 조건($p,n \to \infty$, $p/n \to \gamma$) 하에서 최적 수축기의 이론적 보장을 수립하기 위해.

제안 방법

• 고유값이 1이 아닌 고정 질량 $r$을 가진 스피iked 공분산 모형을 사용하며, 배경 고유값은 모두 1로 설정한다.
• 비례 증가 점근적 분석을 적용하여 $p,n \to \infty$ 이면서 $p/n \to \gamma \in (0,\infty)$ 가 되도록 한다.
• 최적의 비선형성 $\eta^*(\cdot)$ 의 닫힌 형태 표현식을 유도하며, 이는 $\gamma$ 와 한계 최대 고유값 $\ell_1$ 에 따라 달라진다.
• 고유값들이 블록 구조를 가진 점근적 기준 행렬 $\Delta^a$ 의 고유값으로 수렴하는 것을 통해 점근적 최적성을 확립한다.
• 극단적 고유값이 2x2 블록의 고유값과 일치하도록 보장하기 위해 '뾰족한 부분이 없는 조건'(no-sticking-out condition) 을 사용한다.
• 알 수 없는 $\ell_1$ 을 관측된 최대 고유값 $\lambda_1$ 로 대체하여 데이터 기반 버전인 $\eta^e$ 를 제안한다.

실험 결과

연구 질문

• RQ1 스피iked 모형에서 상대 조건수 손실 하에 점점 더 최적의 비선형 수축기는 무엇인가?
• RQ2 최적 수축기는 비율 $\gamma = p/n$ 과 최대 고유값 $\ell_1$ 에 어떻게 의존하는가?
• RQ3 큰 최대 고유값이 존재함에도 불구하고 순수하게 대각 공분산 행렬이 점점 더 최적일 수 있는 조건은 무엇인가?
• RQ4 실제 수축 절차들의 최악의 상대적 후회는 무엇이며, 어떤 절차가 최소 후회를 달성하는가?
• RQ5 $\gamma \gg 1$ 일 때 최적 수축기는 어떻게 행동하는가? 이는 고차원 추정에 어떤 함의를 지닌다?

주요 결과

• $\gamma \gg 1$ 인 경우, 최적 수축기는 매우 큰 고유값조차도 $1/(1+\gamma)$ 배로 수축시키며, 조건수를 크게 감소시킨다.
• $\gamma > 0.618033\dots$ 인 경우, 최적 수축기는 최대 고유값 $\ell_1$ 에 영향을 받지 않게 되어 형태가 단순화된다.
• 중간 정도의 $\gamma$ 에서조차도 매우 통계적으로 유의미한 고유성분이 최적 수축기에서 완전히 억제될 수 있다.
• $\gamma \gg 1$ 인 경우, 순수하게 대각 공분산 행렬이 점점 더 최적일 수 있으며, 이는 실무적 관행과 일치한다.
• $\gamma < 2$ 일 때, 배경 경계에서 임계값을 가지며 기울기가 $(1+\gamma)^{-1}$ 인 일반화된 소프트 임계값 규칙이 최대 몇 퍼센트 이내의 최악의 상대적 후회를 달성한다.
• 최적 점근적 손실은 $L^*(\ell_1; \gamma) = \kappa_1^*(\ell_1; \gamma)$ 로 주어지며, 이는 오직 $\ell_1$ 과 $\gamma$ 에 따라 결정되는 함수이다.