[논문 리뷰] Concentration Inequalities and Moment Bounds for Sample Covariance Operators

Vladimir Koltchinskii, Karim Lounici|arXiv (Cornell University)|2014. 05. 10.

Point processes and geometric inequalities참고 문헌 11인용 수 14

한 줄 요약

이 논문은 중심화된 가우시안 랜덤 벡터를 가정할 때, 분리 가능한 바나흐 공간에서 표본 공분산 연산자의 연산자 노름에 대해 날카운 농도 부등식과 모멘트 유계를 수립한다. 이는 $\Vert\hat{\Sigma}-\Sigma\Vert$ 가 그 기댓값 주위에 농도를 보이며, 이 농도의 속도가 연산자 노름 $\|\Sigma\|$ 와 유효 차원 $\mathbf{r}(\Sigma)$ 에 따라 달라짐을 보여주며, 가우시안 등각성 이론과 정교한 체이닝 기법을 통해 저차원 및 고차원 설정 모두에서 날카로운 유계를 도출한다.

ABSTRACT

Let $X,X_1,\dots, X_n,\dots$ be i.i.d. centered Gaussian random variables in a separable Banach space $E$ with covariance operator $Σ:$ $$ Σ:E^{\ast}\mapsto E,\ \ Σu = {\mathbb E}\langle X,u angle, u\in E^{\ast}. $$ The sample covariance operator $\hat Σ:E^{\ast}\mapsto E$ is defined as $$ \hat Σu := n^{-1}\sum_{j=1}^n \langle X_j,u angle X_j, u\in E^{\ast}. $$ The goal of the paper is to obtain concentration inequalities and expectation bounds for the operator norm $\|\hat Σ-Σ\|$ of the deviation of the sample covariance operator from the true covariance operator. In particular, it is shown that $$ {\mathbb E}\|\hat Σ-Σ\|\asymp \|Σ\|\biggl(\sqrt{\frac{{\bf r}(Σ)}{n}}\bigvee \frac{{\bf r}(Σ)}{n}\biggr), $$ where $$ {\bf r}(Σ):=\frac{\Bigl({\mathbb E}\|X\|\Bigr)^2}{\|Σ\|}. $$ Moreover, under the assumption that ${\bf r}(Σ)\lesssim n,$ it is proved that, for all $t\geq 1,$ with probability at least $1-e^{-t}$ \begin{align*} \Bigl|\|\hatΣ- Σ\|-{\mathbb E}\|\hatΣ- Σ\|\Bigr| \lesssim \|Σ\|\biggl(\sqrt{\frac{t}{n}}\bigvee \frac{t}{n}\biggr). \end{align*}

연구 동기 및 목표

• 분리 가능한 바나흐 공간에서 표본 공분산 연산자의 연산자 노름 $\|\hat{\Sigma}-\Sigma\|$ 에 대해 점근적이지 않은 농도 부등식과 모멘트 유계를 유도하는 것.
• 연산자 노름 $\|\Sigma\|$ 와 유효 차원 $\mathbf{r}(\Sigma)$ 를 기반으로 실제 공분산 연산자에서의 경험 공분산 연산자의 편차를 기술하는 것.
• 공분산 구조의 내재적 복잡성에 적응하는 날카로운 尾부 유계를 수립하여, 특히 저질서 및 고질서 설정 간의 차이를 명확히 하는 것.
• 가우시안 가정 하에 표본 공분산 연산자의 점근적이지 않은 분석을 제공하며, 가우시안 과정 이론과 경험 과정 이론의 도구를 활용하는 것.

제안 방법

• 농도 유계를 도출하기 위해 가우시안 등각성 부등식을 활용한다.
• 유효 차원 $\mathbf{r}(\Sigma) := \frac{(\mathbb{E}\|X\|)^2}{\|\Sigma\|}$ 가 편차 속도를 결정하는 핵심 매개변수로 도입된다.
• 이중 단계 접근법을 사용한다: 먼저 모멘트 추정을 통해 근사 유계를 도출하고, 이후 농도 및 체이닝 기법을 반복적으로 적용하여 개선한다.
• 일반 체이닝 유계와 오르리츠 노름(예: $\psi_2$-노름)을 사용하여 함수 클래스 위의 경험 과정의 최대값을 제어한다.
• X가 가우시안이므로 하중 꼬리가 서브가우시안임을 보장하고, 서브지수 랜덤 변수에 대한 베르누이 타입 부등식을 적용한다.
• 기본 체이닝에 의존하지 않는 별도의 증명으로 가우시안 카오스와 고든-체제 부등식을 사용한 방법도 논의된다.

실험 결과

연구 질문

• RQ1 고차원 또는 무한차원 바나흐 공간에서 연산자 노름 $\|\hat{\Sigma}-\Sigma\|$ 이 그 기댓값 주위에 어떻게 농도를 보이는가?
• RQ2 유효 차원 $\mathbf{r}(\Sigma)$ 는 표본 공분산 연산자의 수렴 속도를 결정하는 데 어떤 역할을 하는가?
• RQ3 유한차원 또는 저질서 구조를 가정하지 않고도 $\|\hat{\Sigma}-\Sigma\|$ 에 대해 날카로운 점근적이지 않은 유계를 도출할 수 있는가?
• RQ4 유효 차원 $\mathbf{r}(\Sigma) \leq n $ 과 $\mathbf{r}(\Sigma) \geq n $ 의 경우에 유계가 어떻게 달라지며, 이는 추정의 설정에 어떤 의미를 갖는가?
• RQ5 일반 체이닝 또는 가우시안 카오스와 같은 대체 방법을 얼마나 효과적으로 활용하여 이러한 유계를 도출할 수 있는가?

주요 결과

• 기댓값의 연산자 노름 편차는 $\mathbb{E}\|\hat{\Sigma}-\Sigma\| \asymp \|\Sigma\|\left(\sqrt{\frac{\mathbf{r}(\Sigma)}{n}} \vee \frac{\mathbf{r}(\Sigma)}{n}\right)$ 를 만족하며, 유효 차원에 대한 날카로운 의존성을 보여준다.
• 유효 차원 $\mathbf{r}(\Sigma) \leq n $ 인 경우, 높은 확률 $1 - e^{-t}$ 에서 편차는 $\left|\|\hat{\Sigma}-\Sigma\| - M\right| \lesssim \|\Sigma\|\left(\sqrt{\frac{t}{n}} \vee \frac{t}{n}\right)$ 를 만족하며, 여기서 $M$ 은 중앙값 또는 기댓값이다.
• 유효 차원 $\mathbf{r}(\Sigma) \geq n $ 인 경우, 고확률 유계는 $\left|\|\hat{\Sigma}-\Sigma\| - M\right| \lesssim \|\Sigma\|\left(\sqrt{\frac{\mathbf{r}(\Sigma)}{n}}\sqrt{\frac{t}{n}} \vee \frac{t}{n}\right)$ 로 표현되며, 이는 고복잡도 설정에서 느린 수렴 속도를 반영한다.
• 결과는 가우시안 등각성 부등식과 정교한 체이닝 기법을 통해 도출되었으며, 별도의 증명으로 가우시안 카오스와 고든-체제 부등식을 활용한 방법도 제시된다.
• 유계는 날카롭고 공분산 연산자의 내재적 복잡성에 적응하며, 유효 차원 $\mathbf{r}(\Sigma)$ 는 자연스러운 복잡도 매개변수로 기능한다.
• 분석은 서브가우시안 및 프리가우시안 과정으로 확장되며, 이전의 유계를 일반화하여 유효 차원을 속도에 통합하였다.