[论文解读] A multivariate generalization of Hoeffding's inequality

Péter Major|ArXiv.org|Nov 12, 2004

Point processes and geometric inequalities参考文献 8被引用 9

一句话总结

本文建立了 Rademacher 随机变量齐次多项式形式的 Hoeffding 不等式的多变量推广，证明了此类多项式的尾部概率衰减速度类似于高斯分布的 $k$ 次根下的偏差，且预指数常数仅依赖于 $k$。关键结果是一个矩不等式，表明 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1)\cdot V^{2M}$，该不等式蕴含了尾部界限，并在 $n$ 充分大时达到最优。

ABSTRACT

We prove a multivariate version of Hoeffding's inequality about the distribution of homogeneous polynomials of Rademacher functions. The proof is based on such an estimate about the moments of homogeneous polynomials of Rademacher functions which can be considered as an improvement of Borell's inequality in a most important special case.

研究动机与目标

• 将 Hoeffding 的经典不等式推广至阶数 $k \geq 2$ 的 Rademacher 随机变量齐次多项式，推广单变量情形。
• 为这类多项式推导出一个尾部概率界限，使其与 Wiener–Itô 混沌展开的渐近行为一致。
• 为对称、齐次情形下的 Rademacher 混沌建立一个精确的矩不等式，该不等式在对称齐次情形下优于 Borell 的不等式。
• 通过图解分析为 $U$-统计量与多重随机积分的测度集中提供严格的理论基础。

提出的方法

• 定义一个齐次多项式 $Z = \sum_{\text{distinct } j_1,\dots,j_k} a(j_1,\dots,j_k) \varepsilon_{j_1} \cdots \varepsilon_{j_k}$，其中系数对称，且方差 $V^2 = \sum a^2(j_1,\dots,j_k)$。
• 通过图解展开证明矩不等式：$\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$。
• 引入一个对称化的高斯版本 $\bar{Z}$，其使用独立同分布的标准正态变量 $\eta_j$，并利用引理 1 证明 $\mathbb{E}[Z^{2M}] \leq \mathbb{E}[\bar{Z}^{2M}]$。
• 利用 Wiener–Itô 混沌的图解公式，将 $\mathbb{E}[Z^{2M}]$ 表示为所有配对 $\gamma \in \Gamma(k,\dots,k)$（共 $2M$ 份）的和。
• 将此类配对的数量上界估计为 $1\cdot3\cdot5\cdots(2kM-1)$，与 $k$ 阶高斯混沌的矩上界一致。
• 建立尾部界限 $\mathbb{P}(|Z| > u) \leq A \exp\left\{ -\frac{1}{2} \left( \frac{u}{V} \right)^{2/k} \right\}$，其中 $A$ 仅依赖于 $k$。

实验结果

研究问题

• RQ1 Hoeffding 不等式能否推广至阶数 $k \geq 2$ 的齐次 Rademacher 混沌？
• RQ2 此类混沌的精确尾部衰减速率为何？其与同阶高斯混沌相比如何？
• RQ3 矩不等式 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$ 对于 Rademacher 混沌是否最优？
• RQ4 在 Rademacher 混沌的语境下，该结果与 Borell 不等式相比如何？
• RQ5 归一化 Rademacher 混沌的渐近分布是否可用于证明尾部界限中指数部分的最优性？

主要发现

• 阶数为 $k$ 的齐次 Rademacher 混沌的尾部概率满足 $\mathbb{P}(|Z| > u) \leq A \exp\left\{ -\frac{1}{2} \left( \frac{u}{V} \right)^{2/k} \right\}$，对所有 $u \geq 0$ 成立，其中 $A > 0$ 仅依赖于 $k$。
• 对所有 $M \geq 1$，矩不等式 $\mathbb{E}[Z^{2M}] \leq 1\cdot3\cdot5\cdots(2kM-1) \cdot V^{2M}$ 成立，且在某些系数选择下，当 $n$ 充分大时达到等式。
• 尾部界限中的指数 $\left( \frac{u}{V} \right)^{2/k}$ 是最优的，这由归一化混沌收敛于 $V \cdot H_k(\eta)$ 所证明，其中 $H_k$ 为 $k$ 阶 Hermite 多项式，$\eta \sim N(0,1)$。
• 该矩不等式在如下意义下是最优的：若不施加对系数 $a(j_1,\dots,j_k)$ 的额外假设，则无法获得更优的指数。
• 证明依赖于矩的图解展开，其中配对数 $|\Gamma(k,\dots,k)|$ 的上界为 $1\cdot3\cdot5\cdots(2kM-1)$，与 $k$ 阶高斯混沌的矩上界一致。
• 该不等式在如下意义下是精确的：若去除预指数常数 $A$，则界限将不再成立，且指数与极限 Wiener–Itô 混沌的渐近尾部行为完全匹配。