[论文解读] A tail inequality for quadratic forms of subgaussian random vectors

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Oct 13, 2011

Approximation Theory and Sequence Spaces参考文献 3被引用 7

一句话总结

本文建立了子高斯随机向量二次型的精确尾部不等式，证明了 $\rVert Ax\rVert^2$ 偏离其期望值的尾部行为遵循与高斯情形类似的子高斯尾部界。关键结果在尾部界中给出了显式且最优的常数，当子高斯参数 $\sigma = 1$ 时与高斯情形完全一致，并适用于满足子高斯矩条件的一般半正定二次型。

ABSTRACT

We prove an exponential probability tail inequality for positive semidefinite quadratic forms in a subgaussian random vector. The bound is analogous to one that holds when the vector has independent Gaussian entries.

研究动机与目标

• 推导当 $x$ 为子高斯随机向量时，二次型 $\rVert Ax\rVert^2$ 的子高斯尾部界。
• 将已知的 i.i.d. 高斯向量的尾部不等式推广至子高斯情形，且给出显式且最优的常数。
• 提供一个简洁、自包含的证明，其形式与紧致性均与高斯尾部界一致。
• 在子高斯假设下，建立 $\rVert Ax\rVert^2$ 的矩生成函数界，从而导出集中不等式。

提出的方法

• 通过引入一个独立的标准高斯向量 $z$，使用高斯比较技巧来界定 $\rVert Ax\rVert^2$ 的矩生成函数。
• 应用测度变换与基于 $x$ 的子高斯性质的矩生成函数界。
• 利用 Laurent 和 Massart (2000) 推导出的高斯向量二次型的矩生成函数界。
• 对加权卡方与高斯变量的对数矩生成函数进行估计。
• 推导 $\mathbb{E}[\exp(\eta \rVert Ax\rVert^2)]$ 的上界，其依赖于 $\sigma^2$、$\operatorname{tr}(\varSigma)$、$\operatorname{tr}(\varSigma^2)$ 与 $\|\varSigma\|$，其中 $\varSigma = A^T A$。
• 应用类似切尔诺夫的论证方法，将矩生成函数界转化为具有指数 $e^{-t}$ 的尾部概率不等式。

实验结果

研究问题

• RQ1 能否推导出一个子高斯向量二次型的尾部不等式，使其形式与常数均与高斯情形一致？
• RQ2 对于子高斯 $x$，尾部界对 $\varSigma = A^T A$ 的迹与谱范数的最优依赖关系为何？
• RQ3 当 $x$ 的均值 $\mu$ 非零时，对 $\rVert Ax\rVert^2$ 的集中性有何影响？
• RQ4 该界能否对重尾或有界子高斯分布（如 Rademacher 变量）保持紧致？
• RQ5 当 $x$ 非高斯但满足子高斯矩条件时，所导出的不等式是否仍保持紧致？

主要发现

• 本文建立了 $\rVert Ax\rVert^2$ 的尾部不等式，当 $\sigma = 1$ 且 $\mu = 0$ 时与高斯情形一致，形式相同：$\Pr[\rVert Ax\rVert^2 > \operatorname{tr}(\varSigma) + 2\sqrt{\operatorname{tr}(\varSigma^2)t} + 2\|\varSigma\|t] \leq e^{-t}$。
• 对于一般子高斯 $x$（均值为 $\mu$，参数为 $\sigma$），尾部界中增加了额外项 $\|A\mu\|^2$，其系数涉及 $\|\varSigma\|^2 / \operatorname{tr}(\varSigma^2)$，反映了均值偏移的影响。
• 该界在紧致性意义上是精确的，其与 Rademacher 及有界子高斯分量的已知子高斯尾部行为一致，优于早期基于鞅方法的界。
• $\rVert Ax\rVert^2$ 的矩生成函数满足上界 $\exp\left(\sigma^2 \operatorname{tr}(\varSigma)\eta + \frac{\sigma^4 \operatorname{tr}(\varSigma^2)\eta^2 + \|A\mu\|^2 \eta}{1 - 2\sigma^2 \|\varSigma\| \eta}\right)$，其中 $\eta < 1/(2\sigma^2\|\varSigma\|)$，该界支持了尾部不等式。
• 在子高斯噪声的固定设计线性回归中，超额风险 $R(\hat{\beta})$ 满足 $\Pr[R(\hat{\beta}) > \sigma^2(d + 2\sqrt{dt} + 2t)/n] \leq e^{-t}$，与高斯情形一致。
• 所导出的界在期望意义下是紧致的，且与子高斯二次型中观测到的 $O(\sqrt{t})$ 和 $O(t)$ 偏差项完全匹配。