[论文解读] Concentration of quadratic forms under a Bernstein moment assumption

Pierre Bellec|arXiv (Cornell University)|Jan 25, 2019

Analytic Number Theory Research参考文献 7被引用 13

一句话总结

本文在子高斯随机变量的二阶矩满足伯恩斯坦型矩条件的假设下，建立了更紧致的二次型集中不等式。通过假设各分量的矩满足伯恩斯坦条件，哈森-沃赖特不等式中的方差项从 $K^2\|A\|_{\mathrm{F}}\sqrt{x}$ 改进为 $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$，在该假设下得到了更紧致的尾部概率界。

ABSTRACT

A concentration result for quadratic form of independent subgaussian random variables is derived. If the moments of the random variables satisfy a "Bernstein condition", then the variance term of the Hanson-Wright inequality can be improved. The Bernstein condition is satisfied, for instance, by all log-concave subgaussian distributions.

研究动机与目标

• 改进子高斯随机变量二次型的哈森-沃赖特不等式中方差项。
• 在分量的二阶矩满足伯恩斯坦型矩条件的假设下，建立更紧致的集中界。
• 表明在此矩条件假设下，方差项的尺度由 $\|A\|_{\mathrm{F}}$ 变为 $\|AD_\sigma\|_{\mathrm{F}}$，从而获得更紧致的尾部概率界。
• 提供一个优于经典哈森-沃赖特界的新集中不等式，尤其在分量具有轻尾矩的场景下表现更优。

提出的方法

• 分析依赖于二次型的解耦不等式，将矩阵 $A$ 的对角与非对角部分分离。
• 证明利用了基于 $\mathbb{E}|\xi_i|^{2p}$ 的伯恩斯坦条件导出的矩生成函数界，该条件通过 $K^2$ 和 $\sigma_i^2$ 控制高阶矩。
• 关键不等式包括 $\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ 和 $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$，其中 $0 \leq 2sK^2 \leq 1$。
• 通过分别分析对角部分与非对角部分的尾部行为，再通过并集界合并，推导出集中界。
• 通过变量替换将尾部概率界转化为关于 $x$ 的高概率偏差不等式。
• 最终界表示为 $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$。

实验结果

研究问题

• RQ1 在子高斯分量的矩满足一个温和条件时，哈森-沃赖特不等式中方差项能否得到改进？
• RQ2 对 $\xi_i^2$ 的矩施加伯恩斯坦型条件，是否能为二次型带来比标准哈森-沃赖特界更紧致的集中性？
• RQ3 在尺度与紧致性方面，改进后的方差项 $\|AD_\sigma\|_{\mathrm{F}}$ 与 $\|A\|_{\mathrm{F}}$ 相比如何？
• RQ4 在伯恩斯坦条件下，集中界对矩阵 $A$ 和子高斯参数 $K$ 的最优依赖关系是什么？

主要发现

• 在伯恩斯坦矩条件 $\mathbb{E}|\xi_i|^{2p} \leq \frac{1}{2}p!\sigma_i^2K^{2(p-1)}$ 下，哈森-沃赖特不等式中方差项从 $K^2\|A\|_{\mathrm{F}}\sqrt{x}$ 改进为 $8\sqrt{3}K\|AD_\sigma\|_{\mathrm{F}}\sqrt{x}$。
• 集中界为 $\mathbb{P}(\xi^T A \xi - \mathbb{E}[\xi^T A \xi] > t) \leq \exp\left(-\min\left(\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}, \frac{t}{256K^2\|A\|_2}\right)\right)$。
• 对于小偏差 $t$，界的表现为 $\exp\left(-\frac{t^2}{192K^2\|AD_\sigma\|_{\mathrm{F}}^2}\right)$，当 $\|AD_\sigma\|_{\mathrm{F}} \ll K\|A\|_{\mathrm{F}}$ 时，该界比哈森-沃赖特界 $\exp\left(-c\frac{t^2}{K^4\|A\|_{\mathrm{F}}^2}\right)$ 更紧致。
• 该结果适用于满足伯恩斯坦条件的随机变量，包括有界随机变量、方差有界于 $K^2$ 的子高斯变量，以及对数凹分布的平方。
• 推导并使用了关键的技术工具：矩生成函数界 $\mathbb{E}\exp(s\xi_i) \leq \exp(s^2K^2)$ 和 $\mathbb{E}\exp(s\xi_i^2 - s\sigma_i^2) \leq \exp(s^2\sigma_i^2K^2)$。
• 当 $\|AD_\sigma\|_{\mathrm{F}} \ll \|A\|_{\mathrm{F}}$ 时，改进后的界严格优于经典哈森-沃赖特不等式，这种情况出现在方差 $\sigma_i^2$ 相对于矩阵元素较小时。