[论文解读] An estimate on the maximum of a nice class of stochastic integrals

Péter Major|ArXiv.org|Oct 20, 2003

Advanced Harmonic Analysis Research参考文献 5被引用 7

一句话总结

本文为关于归一化经验测度的多重随机积分类的上确界建立了精确的指数尾部界。通过使用有界函数的 $L_2$-稠密类及 Vapnik–Červonenkis 类型的复杂度控制，推导出高概率上界形式为 $P(\sup_{f\in\mathcal{F}}|J_{n,k}(f)| > x) \leq CD \exp\left\{-\alpha (x/\sigma)^{2/k}\right\}$，表明在温和的复杂度约束下，上确界的表现几乎与单个积分相当。

ABSTRACT

Let a sequence of iid. random variables $ξ_1,...,ξ_n$ be given on a space $(X,\cal X)$ with distribution $μ$ together with a nice class $\cal F$ of functions $f(x_1,...,x_k)$ of $k$ variables on the product space $(X^k,{\cal X}^k)$. For all $f\in\cal F$ we consider the random integral $J_{n,k}(f)$ of the function $f$ with respect to the $k$-fold product of the normalized signed measure $\sqrt n(μ_n-μ)$, where $μ_n$ denotes the empirical measure defined by the random variables $ξ_1,...,ξ_n$ and investigate the probabilities $P(\sup_{f\in {\cal F}}|J_{n,k}(f)|>x)$ for all $x>0$. We show that for nice classes of functions, for instance if $\cal F$ is a Vapnik-Cervonenkis class, an almost as good bound can be given for these probabilities as in the case when only the random integral of one function is considered.

研究动机与目标

• 推导关于函数类上多重随机积分上确界的高概率上界。
• 将经验过程的集中不等式扩展至具有依赖结构的高阶 U-统计量。
• 通过 $L_2$-稠密性和 Vapnik–Červonenkis 类型条件控制函数类的复杂度。
• 建立对尾部概率 $P(\sup_{f\in\mathcal{F}}|J_{n,k}(f)| > x)$ 的界，使其几乎与单函数情形一致。
• 通过可数控制性（countable majorizability）的概念处理非可数函数类，避免测度论上的病态问题。

提出的方法

• 定义关于归一化经验测度 $\sqrt{n}(\mu_n - \mu)$ 的 $k$ 重多重随机积分 $J_{n,k}(f)$，通过撇号记号排除对角项。
• 使用参数为 $D$ 和 $L$ 的 $L_2$-稠密类，确保对所有概率测度均存在大小 $\leq D\varepsilon^{-L}$ 的 $\varepsilon$-网。
• 对所有 $f \in \mathcal{F}$ 施加有界性 $\|f\|_\infty \leq 1$ 和 $L_2$-范数 $\|f\|_2 \leq \sigma$，以控制函数大小与方差。
• 通过超收缩算子 $\mathbb{T}_\gamma^n$ 应用 Rademacher 混沌的超收缩不等式，控制积分的矩。
• 利用矩比较与马尔可夫不等式，推导出以 $x$、$\sigma$、$k$、$D$ 和 $n$ 表示的尾部界。
• 引入可数控制性的概念，将结果从可数类推广至一般函数类，避免测度论问题。

实验结果

研究问题

• RQ1 能否为复杂函数类上多重随机积分的上确界建立精确的尾部界？
• RQ2 通过 $L_2$-稠密性衡量的函数类 $\mathcal{F}$ 的复杂度，如何影响上确界的尾部行为？
• RQ3 在考虑函数类上确界时，单个积分的集中界在多大程度上可以被恢复？
• RQ4 函数类 $\mathcal{F}$ 需满足何种条件，才能使上确界在尾部衰减上表现得如同单个积分？
• RQ5 能否通过适当的拓扑或测度论替代方法，将结果推广至不可数类？

主要发现

• 本文建立了对所有满足 $n\sigma^2 \geq (x/\sigma)^{2/k} \geq M(L+\beta+1)^{3/2}\log(2/\sigma)$ 的 $x$，有 $P(\sup_{f\in\mathcal{F}}|J_{n,k}(f)| > x) \leq CD \exp\left\{-\alpha (x/\sigma)^{2/k}\right\}$ 的界。
• 该界与单函数情形仅相差仅依赖于 $k$ 的常数，表明复杂类上的上确界并未显著恶化尾部行为。
• 指数项中的 $2/k$ 指数自然源于积分的 $k$ 重结构，且在矩比较的意义下为最优。
• 参数 $D$ 控制函数类的复杂度，界以 $D$ 作为乘法因子缩放，反映了该类的熵。
• 该结果适用于 $D \leq n^\beta$ 的 $L_2$-稠密类，允许 $n$ 的多项式增长复杂度。
• 可数控制性概念使得主结果可推广至不可数类，在温和的拓扑条件下仍保持尾部界。