[论文解读] Large ball probability, Gaussian comparison and anti-concentration

Friedrich Götze, Alexey Naumov+2 more|arXiv (Cornell University)|Aug 29, 2017

Statistical Methods and Inference参考文献 13被引用 5

一句话总结

本文建立了希尔伯特空间中两个高斯向量落入球内的概率之间柯尔莫哥洛夫距离的无维界，其依赖于协方差算子差的核范数（施瓦茨-1范数）和均值偏移的范数。关键贡献在于对非中心高斯元素的平方范数给出了一个精确的、非渐近的反集中不等式，显著改进了经典界，通过显式依赖于算子范数而非特征值的倒数。

ABSTRACT

We derive tight non-asymptotic bounds for the Kolmogorov distance between the probabilities of two Gaussian elements to hit a ball in a Hilbert space. The key property of these bounds is that they are dimension-free and depend on the nuclear (Schatten-one) norm of the difference between the covariance operators of the elements and on the norm of the mean shift. The obtained bounds significantly improve the bound based on Pinsker's inequality via the Kullback-Leibler divergence. We also establish an anti-concentration bound for a squared norm of a non-centered Gaussian element in Hilbert space. The paper presents a number of examples motivating our results and applications of the obtained bounds to statistical inference and to high-dimensional CLT.

研究动机与目标

• 推导希尔伯特空间中两个高斯元素落入球内概率的紧致、非渐近界，即柯尔莫哥洛夫距离。
• 为希尔伯特空间中非中心高斯元素的平方范数建立无维反集中不等式。
• 改进基于平斯克不等式的现有界，后者依赖于协方差算子的逆，对小特征值敏感。
• 通过聚焦于球概率而非所有可测集，提供适用于高维统计推断（包括自助法有效性与贝叶斯分析）的工具。
• 建立仅依赖于协方差差的核范数与均值偏移范数的界，避免对协方差算子完整谱的依赖。

提出的方法

• 该方法依赖于对 $\|\boldsymbol{\xi} - \boldsymbol{a}\|^2$ 的密度函数的紧上界，其中 $\boldsymbol{\xi}$ 是希尔伯特空间中零均值的高斯分布，$\boldsymbol{a} \in \mathbb{H}$。
• 利用密度表示为非中心 $\chi^2$ 分布加权和的形式，但推导出更清晰、更一致的界，无需依赖测度的特殊性质。
• 主要结果通过定理 \ref{l:_density_est_2} 推导得出，该定理提供了高斯向量平方范数密度的非均匀与均匀上界。
• 界以核范数 $\|\Sigma - \Sigma^\flat\|_1$ 和弗罗贝尼乌斯范数 $\|\Sigma\|_{\operatorname{Fr}}$ 表示，避免了对 $\Sigma^{-1}$ 的需求。
• 该方法被应用于比较 $\mathcal{N}(\boldsymbol{a}, \Sigma)$ 与 $\mathcal{N}(0, \Sigma^\flat)$，在高维设定下获得了球概率的改进界。
• 通过在自助法推断与线性高斯模型中的应用，验证了该框架的有效性，其界优于基于 Kullback-Leibler 散度的经典方法。

实验结果

研究问题

• RQ1 如何在不依赖维度的前提下，对希尔伯特空间中两个高斯向量落入球内概率的柯尔莫哥洛夫距离进行有界？
• RQ2 在无限维希尔伯特空间中，如何最优地量化非中心高斯向量平方范数的反集中性？
• RQ3 能否通过避免使用 $\Sigma^{-1}$ 来改进球概率的界，特别是在特征值较小时？
• RQ4 在哪些统计设定中——如自助法验证或贝叶斯推断——这些新界能显著优于现有方法？
• RQ5 协方差差的核范数与均值偏移的范数如何共同控制球概率的偏离？

主要发现

• 本文推导出两个高斯测度限制在球上的柯尔莫哥洛夫距离的无维界，仅依赖于 $\|\Sigma - \Sigma^\flat\|_1$ 与 $\|\boldsymbol{a}\|^2$，避免了 $\Sigma^{-1}$ 带来的病态性。
• 该界通过将 $\|\Sigma^{-1/2}(\Sigma^\flat - \Sigma)\Sigma^{-1/2}\|_{\operatorname{Fr}}$ 替换为 $\|\Sigma - \Sigma^\flat\|_1 / \|\Sigma\|_{\operatorname{Fr}}$，改进了平斯克不等式，显著降低了对小特征值的敏感性。
• 对于 $\|\boldsymbol{\xi} + \boldsymbol{a}\|^2$ 的反集中性，本文提供了紧致界，精炼了经典关于卡方分布密度的结果，尤其在高维或病态设定下表现更优。
• 在自助法验证的背景下，新界将建模偏差条件从 $\|\Sigma^{-1/2}\boldsymbol{a}\|$ 改进为 $\|\boldsymbol{a}\|^2$，当 $\Sigma$ 具有小特征值时，后者可显著更小。
• 通过聚焦于球概率而非总变差，该方法在高维中心极限定理与统计推断中实现了更高的精度，从而提供了更紧致的有限样本保证。
• 即使在无限维希尔伯特空间中，该结果依然适用，其界在底层空间的任意维度下均保持有效性。