[논문 리뷰] Large ball probability, Gaussian comparison and anti-concentration

Friedrich Götze, Alexey Naumov외 2명|arXiv (Cornell University)|2017. 08. 29.

Statistical Methods and Inference참고 문헌 13인용 수 5

한 줄 요약

이 논문은 힐버트 공간 내의 두 가우시안 벡터가 구 안에 있을 확률 간의 콜모고로프 거리에 대해 치수에 종속되지 않는 경계를 설정한다. 이 경계는 공분산 연산자의 차이에 대한 핵노름(nuclear norm, 슈하텐-일함)과 평균 이동의 노름을 사용한다. 주요 기여는 비중앙 가우시안 원소의 제곱 노름에 대한 날카운 비집중 불등식으로, 기존의 경계보다 역공분산 고유값에 의존하는 대신 연산자 노름에 명시적인 의존성을 가지며 크게 향상된 것이다.

ABSTRACT

We derive tight non-asymptotic bounds for the Kolmogorov distance between the probabilities of two Gaussian elements to hit a ball in a Hilbert space. The key property of these bounds is that they are dimension-free and depend on the nuclear (Schatten-one) norm of the difference between the covariance operators of the elements and on the norm of the mean shift. The obtained bounds significantly improve the bound based on Pinsker's inequality via the Kullback-Leibler divergence. We also establish an anti-concentration bound for a squared norm of a non-centered Gaussian element in Hilbert space. The paper presents a number of examples motivating our results and applications of the obtained bounds to statistical inference and to high-dimensional CLT.

연구 동기 및 목표

• 힐버트 공간 내 두 가우시안 원소가 구 안에 있을 확률 간의 콜모고로프 거리에 대해 날카운 비점근 경계를 도출하는 것.
• 힐버트 공간 내 비중앙 가우시안 원소의 제곱 노름에 대해 치수에 종속되지 않는 비집중 경계를 개발하는 것.
• 공분산 연산자의 역행에 의존하는 기존 경계, 즉 핀스커의 부등식에 기반한 경계를 개선하는 것. 이러한 경계는 작은 고유값에 민감하다.
• 모든 가측 집합이 아닌 구 확률에 초점을 맞춰 고차원 통계적 추론, 부트스트랩 유효성 및 베이지안 분석에 적용 가능한 도구를 제공하는 것.
• 공분산 차이의 핵노름과 평균 이동의 노름에만 의존하는 경계를 수립하여 공분산 연산자의 전체 스펙트럼에 의존하지 않도록 하는 것.

제안 방법

• 이 방법은 힐버트 공간 내의 영평균 가우시안 $\boldsymbol{\xi}$ 와 $\boldsymbol{a} \in \mathbb{H}$ 에 대해 $\|\boldsymbol{\xi} - \boldsymbol{a}\|^2$ 의 밀도 함수에 대한 날카운 상계에 기반한다.
• 밀도를 비중앙 카이제곱 분포의 가중합으로 표현하지만, 측도의 특수한 특성에 의존하지 않는 더 명확하고 균일한 상계를 유도한다.
• 주요 결과는 제시된 정리 \ref{l:_density_est_2}를 통해 도출되며, 이는 가우시안 벡터의 제곱 노름의 밀도에 대한 비균일 및 균일 상계를 제공한다.
• 이 경계들은 핵노름 $\|\Sigma - \Sigma^\flat\|_1$ 과 프로베니우스 노름 $\|\Sigma\|_{\operatorname{Fr}}$ 으로 표현되며, $\Sigma^{-1}$ 가 필요로 하지 않는다.
• 이 접근법은 $\mathcal{N}(\boldsymbol{a}, \Sigma)$ 와 $\mathcal{N}(0, \Sigma^\flat)$ 를 비교하는 데 적용되어 고차원 설정에서의 구 확률에 대해 향상된 경계를 도출한다.
• 이 프레임워크는 부트스트랩 추론과 선형 가우시안 모델에서의 응용을 통해 검증되었으며, Kullback-Leibler 발산에 기반한 기존 방법보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 힐버트 공간 내 두 가우시안 벡터가 구 안에 있을 확률 간의 콜모고로프 거리를 치수에 종속되지 않게 어떻게 경계할 수 있는가?
• RQ2 무한차원 힐버트 공간 내 비중앙 가우시안 벡터의 제곱 노름에 대한 비집중을 최적으로 어떻게 측정할 수 있는가?
• RQ3 공분산 연산자의 역행이 포함되지 않도록 하여, 특히 고유값이 작을 경우 구 확률에 대한 경계를 어떻게 향상시킬 수 있는가?
• RQ4 부트스트랩 유효성 또는 베이지안 추론과 같은 통계적 설정에서 이러한 새로운 경계는 기존 방법보다 어떻게 크게 향상되는가?
• RQ5 공분산 차이의 핵노름과 평균 이동의 노름이 함께 구 확률의 이탈을 어떻게 제어하는가?

주요 결과

• 논문은 두 가우시안 측도가 구에 제한되었을 때의 콜모고로프 거리에 대해 치수에 종속되지 않는 경계를 도출한다. 이 경계는 $\|\Sigma - \Sigma^\flat\|_1$ 과 $\|\boldsymbol{a}\|^2$ 에만 의존하며, $\Sigma^{-1}$ 에 의존하는 악조건 문제를 피한다.
• 핀스커의 부등식을 개선하여 $\|\Sigma^{-1/2}(\Sigma^\flat - \Sigma)\Sigma^{-1/2}\|_{\operatorname{Fr}}$ 를 $\|\Sigma - \Sigma^\flat\|_1 / \|\Sigma\|_{\operatorname{Fr}}$ 로 대체함으로써, 작은 고유값에 대한 민감도를 크게 감소시켰다.
• 비중앙 가우시안 원소 $\|\boldsymbol{\xi} + \boldsymbol{a}\|^2$ 의 비집중에 대해 날카운 경계를 제공하여 기존의 카이제곱 밀도 결과를 개선하였으며, 특히 고차원 또는 악조건이 있는 설정에서 뚜렷한 개선을 보였다.
• 부트스트랩 유효성의 맥락에서, 새로운 경계는 $\|\Sigma^{-1/2}\boldsymbol{a}\|$ 에서 $\|\boldsymbol{a}\|^2$ 로 모델링 편향 조건을 향상시켰으며, $\Sigma$ 가 작은 고유값을 가질 경우 이 값은 상당히 작아질 수 있다.
• 구 확률에 초점을 맞춤으로써 총변동 거리가 아닌 방식으로 고차원 중심극한정리와 통계적 추론에서 더 높은 정확도를 달성하여 더 날카운 유한표본 보장을 이끌어냈다.
• 결과는 무한차원 힐버트 공간에서도 적용 가능하며, 기저 공간의 치수에 관계없이 경계가 효과를 유지한다.