[论文解读] Dimension-free PAC-Bayesian bounds for the estimation of the mean of a random vector

Olivier Catoni, Ilaria Giulini|arXiv (Cornell University)|Feb 12, 2018

Statistical Methods and Inference参考文献 6被引用 20

一句话总结

本文提出了一种在弱矩假设下、无需子高斯尾部的、维度无关的PAC-Bayesian均值估计器，通过简单地对样本向量范数进行截断。该方法在不需子高斯尾部的前提下实现了近乎子高斯的尾部界，兼具鲁棒性与计算简便性，同时在希尔伯特空间中保持了非渐近保证。

ABSTRACT

In this paper, we present a new estimator of the mean of a random vector, computed by applying some threshold function to the norm. Non asymptotic dimension-free almost sub-Gaussian bounds are proved under weak moment assumptions, using PAC-Bayesian inequalities.

研究动机与目标

• 在仅存在二阶矩的条件下，开发一种鲁棒且计算简便的随机向量均值估计器。
• 在弱尾部假设下，推导估计误差的非渐近、维度无关的集中界。
• 通过基于范数的截断，将Catoni的一维PAC-Bayesian方法推广至多变量设置。
• 通过在界中接受二阶项，实现精确性与计算可处理性之间的平衡，并为未来工作中实现精确子高斯界铺平道路。

提出的方法

• 引入一种截断的经验均值估计器，其中每个样本向量按其范数的函数进行缩放，具体为 $ Y_i = \frac{\psi(\lambda\|X_i\|)}{\lambda\|X_i\|}X_i $，其中 $ \psi(t) = \min\{t,1\} $。
• 应用PAC-Bayesian不等式，推导估计误差在任一单位向量 $ \theta $ 方向上的高概率界。
• 使用函数 $ g_1(t) = \frac{1}{t}(\exp(t) - 1) $ 和 $ g_2(t) = \frac{2}{t^2}(\exp(t) - 1 - t) $，通过多项式逼近控制指数矩。
• 利用压缩论证和截断函数的性质，建立估计误差期望平方范数的界。
• 推导出 $ \|\widehat{m} - m\| $ 的高概率上界，其中包含依赖于 $ v $、$ T $ 和高阶矩的项，且参数 $ \mu $、$ \lambda $ 和 $ \beta $ 可调。
• 通过优化参数 $ \lambda $、$ \beta $ 和 $ \mu $ 来最小化界，实现精确性与计算简便性之间的权衡。

实验结果

研究问题

• RQ1 在仅存在有限方差的条件下，对经验均值进行简单、基于截断的修改，是否能在高维或无限维空间中实现类似子高斯的集中性？
• RQ2 如何将PAC-Bayesian不等式扩展至在弱矩假设下具有维度无关界的多变量估计？
• RQ3 在缺乏子高斯尾部的条件下，估计误差界在精确性与计算简便性之间的权衡是什么？
• RQ4 在仅存在二阶矩条件的可分希尔伯特空间中，该估计器能否保持鲁棒性与非渐近保证？

主要发现

• 以至少 $ 1 - \delta $ 的概率，估计器 $ \widehat{m} $ 满足 $ \|\widehat{m} - m\| \leq \sqrt{\frac{2av\log(\delta^{-1})}{n}} + \sqrt{\frac{bT}{n}} + \text{低阶项} $，其中 $ a = g_2(2\mu) \geq 1 $，$ b \geq \exp(2\mu)g_1(\mu^2\sqrt{2av/(T\log(\delta^{-1}))}) $。
• 当 $ \mu = 1/4 $ 且 $ \delta \leq \exp(-1) $ 时，常数满足 $ a \leq 1.2 $ 且 $ b \leq 4 $，从而得到具有小额外开销的实际界。
• 估计误差 $ \|\widehat{m} - m\| $ 的尾部行为在二阶项范围内为子高斯，且一阶项与最优子高斯率 $ \sqrt{v \log(\delta^{-1}) / n} $ 一致。
• 该估计器在可分希尔伯特空间中依然有效，因为其界是维度无关的，且仅依赖于协方差结构和矩条件。
• 该方法实现了折中：计算简便，但界中包含二阶项；更复杂的估计器可消除这些项，但需付出更高计算成本。
• 当 $ p > 1 $ 时，高阶项以 $ \mathcal{O}(n^{-p/2}) $ 的速度衰减，当高阶矩存在时可确保快速收敛。