[논문 리뷰] Squared-Norm Empirical Process in Banach Space

Vincent Q. Vu, Jing Lei|arXiv (Cornell University)|2013. 12. 04.

Point processes and geometric inequalities참고 문헌 2인용 수 3

한 줄 요약

이 논문은 메른드슨의 이차 경험 과정에 대한 최대값 결과를 바나흐 공간에 값이 있는 함수의 제곱 노름으로 확장하며, 대칭화와 일반 체이닝 기능의 가역성(서브어드디티비티)을 사용한다. 핵심 기여는 경험 제곱 노름의 최대값 이탈에 대한 고확률 경계를 제공하는 것으로, 유한계수의 양의 정부호 행렬로 색인화된 표본 공분산 행렬에서의 선형 과정에 응용된다.

ABSTRACT

This note extends a recent result of Mendelson on the supremum of a quadratic process to squared norms of functions taking values in a Banach space. Our method of proof is a reduction by a symmetrization argument and observation about the subadditivity of the generic chaining functional. We provide an application to the supremum of a linear process in the sample covariance matrix indexed by finite rank, positive definite matrices.

연구 동기 및 목표

• 실수값 함수에서 바나흐 공간에 값이 있는 함수로 멘델슨의 이차 과정 최대값 경계를 일반화하는 것.
• 경험 제곱 노름 과정의 고확률 尾 꼬리 경계를 수립하는 것: $\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right|$.
• 유도된 경계를 유한계수의 양의 정부호 행렬로 색인화된 표본 공분산 행렬에서의 선형 과정의 최대값에 적용하는 것.
• 적절한 거리 척도 하에서 오르리츠 노름과 일반 체이닝 기능 $\gamma_2$를 통해 함수 클래스 $G$의 복잡도를 측정하는 것.
• 고차원 설정에서 연산자 노름과 랜덤 행렬 통계를 포함하는 경험 과정을 분석하기 위한 프레임워크를 제공하는 것.

제안 방법

• 기존의 이차 과정 경계에 적합한 형태로 바나흐 공간에 값이 있는 제곱 노름 과정을 줄이기 위해 대칭화를 사용하는 방법.
• 함수 클래스 $G$에 대한 거리 $d(g_1, g_2) = \|\|g_1(X_1) - g_2(X_1)\|\|_{\psi_2}$ 를 도입하여 복잡도를 측정하는 방법.
• 일반 체이닝 기능 $\gamma_2$의 가역성 성질을 적용하여 대칭 클래스의 합집합의 복잡도를 제어하는 방법.
• 부등식 $\|\|A^T Z\|\|_{\psi_2} \leq \|A\|_F \|Z\|_{\psi_2}$ 를 통해 $\|A^T X_1\|$ 의 $\psi_2$-노름과 $A$ 의 프로베니우스 노름 사이의 관계를 설정하는 방법.
• 메이저라이징 메저러 정리(메이저라이징 메저러 정리)를 사용하여 $\gamma_2(G, d)$ 를 가우시안 과정의 기대 최대값 $\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$ 로 표현하는 방법.
• 유도된 복잡도 파rameter를 사용하여 경험 과정 이탈에 대한 尾 꼬리 경계를 유도하고, 이를 표본 공분산 행렬에 적용하는 방법.

실험 결과

연구 질문

• RQ1 바나흐 공간에서 경험 제곱 노름 과정의 최대값 이탈은 지수 꼬리 확률로 경계지킬 수 있는가?
• RQ2 함수 클래스 $G$의 복잡도—$\gamma_2$ 및 오르리츠 노름으로 측정—는 경험 제곱 노름의 이탈을 어떻게 제어하는가?
• RQ3 대칭화된 과정의 맥락에서 일반 체이닝 기능 $\gamma_2$와 거리의 엔트로피의 가역성 사이의 관계는 무엇인가?
• RQ4 경험 제곱 노름 과정에 대한 경계는 어떻게 표본 공분산 행렬의 선형 과정에 응용될 수 있는가?
• RQ5 행렬 $A$ 의 프로베니우스 노름과 랜덤 벡터 $X_1$ 의 $\psi_2$-노름은 수렴 속도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 경험 제곱 노름 과정의 최대값에 대한 고확률 경계를 수립한다: $\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right| \leq c_3 t \left\{ \frac{d_{\psi_1}(G) \gamma_2(G,d)}{\sqrt{n}} + \frac{\gamma_2^2(G,d)}{n} \right\}$, 확률 적어도 $1 - 2\exp(-c_2 t^{2/5})$ 에서 성립한다.
• 선형 과정에서 $g(x) = A^T x$ 인 경우, 경계는 $\sigma = \sup_{\|u\|_2=1} \|\langle X_1, u \rangle\|_{\psi_2}$, $\sup_{A \in \mathcal{A}} \|A\|_F$, 및 $\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$ 로 표현된다.
• 이 경계는 $\mathbb{E} \sup_{A \in \mathcal{A}} |\langle S_n - \Sigma, AA^T \rangle| \leq c \left\{ \frac{\sigma^2 \sup_A \|A\|_F}{\sqrt{n}} \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle + \frac{\sigma^2}{n} \left( \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle \right)^2 \right\}$ 를 암시한다.
• 이 결과는 클래스 $\mathcal{A}$ 가 대칭이고 $X_1$ 이 평균 0이며 $\psi_2$-노름을 통해 가우시안 유사 尾 꼬리 성질을 가진다 하더라도 성립한다.
• 표본 공분산 행렬에 대한 응용은 경험 공분산이 진짜 공분산에서 얼마나 떨어져 있는지가 행렬 클래스 $\mathcal{A}$ 의 복잡도에 의해 제어됨을 보여준다.
• 유도된 경계는 기존의 가우시안 과정에 대한 알려진 수렴 속도를 정확히 따라가며, 오르리츠 노름을 통해 비가우시안, 꼬리가 무거운 설정으로 확장된다는 점에서 날카로운 경계이다.