[论文解读] A Bernstein-type inequality for suprema of random processes with an application to statistics

Yannick Baraud|ArXiv.org|Apr 21, 2009

Probabilistic and Robust Engineering Design参考文献 17被引用 4

一句话总结

本文利用塔拉格兰德的通用链方法，为随机过程的上确界建立了伯恩斯坦型不等式，从而实现了对子高斯随机向量在线性子空间上投影的平方范数的精确偏差界。关键贡献在于提出了一种非渐近的集中不等式，将经典的伯恩斯坦界扩展至高维、非高斯设定，直接应用于重尾误差下大模型集合的回归模型选择。

ABSTRACT

We use the generic chaining device proposed by Talagrand to establish exponential bounds on the deviation probability of some suprema of random processes. Then, given a random vector $ξ$ in $\R^{n}$ the components of which are independent and admit a suitable exponential moment, we deduce a deviation inequality for the squared Euclidean norm of the projection of $ξ$ onto a linear subspace of $\R^{n}$. Finally, we provide an application of such an inequality to statistics, performing model selection in the regression setting when the errors are possibly non-Gaussian and the collection of models possibly large.

研究动机与目标

• 在子高斯或次高斯矩条件下，推导随机过程上确界的精确指数偏差界。
• 将经典的伯恩斯坦不等式扩展至由可能庞大的集合索引的随机变量族的上确界，超越独立同分布或有界增量的情形。
• 为具有子高斯分量的随机向量在子空间上的投影的平方范数，提供一个非渐近集中不等式。
• 将推导出的不等式应用于误差非高斯且模型集合庞大的高维回归中的模型选择。

提出的方法

• 利用塔拉格兰德的通用链装置，通过在索引集的分层划分上分解路径，控制随机过程的上确界。
• 对增量施加拉普拉斯变换条件：$\mathbb{E}[e^{\lambda X_t}] \leq \exp\left(\frac{\lambda^2 v^2}{2(1 - \lambda c)}\right)$，其中 $\lambda \in (0, c)$，该条件推广了有界性。
• 推导出形式为 $\mathbb{P}(Z \geq \mathbb{E}[Z] + \sqrt{(2v^2 + 2c\mathbb{E}[Z])u} + 3cu) \leq e^{-u}$ 的偏差界，扩展了 Klein 与 Rio 的结果，并提升了可解释性。
• 将该不等式应用于具有独立分量且具有合适指数矩的随机向量 $\xi \in \mathbb{R}^n$ 在线性子空间上的投影，控制 $\|P\xi\|^2$。
• 利用链框架控制索引集的熵，并推导过程的 $\Lambda_2^2$ 与 $\Lambda_\infty$ 范数的界。
• 将最终的不等式应用于回归中的模型选择，其中设计矩阵固定，误差非高斯，且基于推导出的集中界施加复杂度惩罚。

实验结果

研究问题

• RQ1 能否在次高斯矩条件下而非有界性下，为随机过程的上确界建立伯恩斯坦型不等式？
• RQ2 通用链方法如何被调整，以获得对非高斯随机向量投影的精确、非渐近集中不等式？
• RQ3 在高维设定下，偏差概率对方差和尾部尺度参数的最优依赖关系是什么？
• RQ4 此类集中不等式能否用于证明在误差非高斯且模型集合庞大的回归中模型选择程序的合理性？

主要发现

• 本文建立了一种新的子高斯尾部条件下的随机过程上确界伯恩斯坦型不等式，相较于早期结果，数值常数更优。
• 对于满足 $\mathbb{E}[e^{\lambda \xi_i}] \leq \exp(\lambda^2 \sigma^2 / 2)$ 的独立分量的随机向量 $\xi \in \mathbb{R}^n$，其在 $d$-维子空间上的投影的平方范数满足 $\mathbb{P}(\|P\xi\|^2 \geq \mathbb{E}[\|P\xi\|^2] + 2\sigma^2 u + 2\sigma^2 \sqrt{2du}) \leq e^{-u}$。
• 所推导的不等式使得在误差非高斯且模型数量庞大的回归中实现模型选择成为可能，通过基于链的熵界控制模型集合的复杂度。
• 该方法通过带拉普拉斯变换条件的链分解，实现了对上确界的精确控制，避免了经典链方法中的悲观常数。
• 对于特定模型集合（如分段常数或分段多项式函数），本文推导出链范数 $\Lambda_2^2(\mathcal{S}_n)$ 与 $\overline{\Lambda}_\infty$ 的显式界，表明 $\Lambda_2^2(\mathcal{S}_n) \leq \frac{1}{a^2 \log^2 n}$ 或 $\frac{2(2\overline{D}+1)}{n}$，具体取决于设定。
• 最终在模型选择中的应用采用与 $\log n$ 成比例的惩罚项，即使在误差分布重尾时，也能在温和矩条件下保证一致性。