[论文解读] Bounds for Rademacher Processes via Chaining

Johannes Lederer|arXiv (Cornell University)|Oct 27, 2010

Bayesian Methods and Mixture Models参考文献 9被引用 3

一句话总结

该论文利用链式技术（chaining）在高维设定下推导了 Rademacher 过程的紧致上界，具体包括经典熵界和主要测度（Majorizing Measures）。结果表明，在协变量之间存在强相关性时，上界不再依赖于维度 𝑙，从而在 𝑙 ≫ 𝑛 的高维渐近情形下显著提升性能。

ABSTRACT

We study Rademacher processes where the coefficients are functions evaluated at fixed, but arbitrary covariables. Specifically, we assume the function class under consideration to be parametrized by the standard cocube in l dimensions and we are mainly interested in the high-dimensional, asymptotic situation, that is, l as well the number of Rademacher variables n go to infinity with l much larger than n. We refine and apply classical entropy bounds and Majorizing Measures, both going back to the well known idea of chaining. That way, we derive general upper bounds for Rademacher processes. In the linear case and under high correlations, we further improve on these bounds. In particular, we give bounds independent of l for highly correlated covariables.

研究动机与目标

• 推导在 𝑙 ≫ 𝑛 的高维渐近情形下 Rademacher 过程的紧致上界。
• 通过链式方法对经典熵界和主要测度进行改进，适用于由 𝑙 维标准余立方参数化的函数类。
• 研究协变量之间的强相关性如何影响 Rademacher 复杂度的增长，并探讨维数无关上界是否可实现。
• 证明在强相关性下，主要测度方法所得上界显著优于经典熵方法。

提出的方法

• 通过将 Rademacher 过程的上确界分解为一系列逼近集上的增量之和，应用链式方法。
• 利用覆盖数的积分形式和对数熵积分，对经典熵界进行改进。
• 通过在由伪度量 d(𝜃,𝜃′) = ‖(𝜙𝜃(𝑥𝑖)−𝜙𝜃′(𝑥𝑖))‖₂ 导出的度量空间上构造高斯过程，应用主要测度方法。
• 假设一个压缩性质：d(𝜃,𝜃′) ≤ √𝑛𝐴(𝑥)‖𝜃−𝜃′‖₂，从而通过 √𝑛 log(𝑙+1)𝐴(𝑥)𝑀 有界期望上确界。
• 在线性情形下，可去除 log(𝑛+1) 因子，使上界改进为 K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀。
• 在强相关性下，通过正交矩阵重参数化并利用列向量的对称凸包，借助椭球覆盖和度量熵积分，实现维数无关上界。

实验结果

研究问题

• RQ1 经典熵界能否被改进，以在高维设定下实现对 Rademacher 过程更紧致的控制？
• RQ2 协变量之间的强相关性如何影响高维渐近情形下 Rademacher 复杂度的增长？
• RQ3 在 ℓ¹-惩罚函数类的背景下，主要测度方法能否优于经典熵界？
• RQ4 在何种条件下，可使 Rademacher 过程上界与维度 𝑙 无关？
• RQ5 当设计矩阵的列高度相关时，是否可在线性模型中实现维数无关上界？

主要发现

• 对于具有压缩性质的一般函数类，上界为 𝔼[sup|𝑋𝜃|] ≤ 𝔼|𝑋𝜃₀| + K√𝑛 log(𝑙+1) log(𝑛+1)𝐴(𝑥)𝑀，其中包含 log(𝑛+1) 因子。
• 在线性情形下，log(𝑛+1) 因子可被去除，从而得到改进的上界 𝔼[sup|𝑋𝜃|] ≤ K√𝑛 log(𝑙+1)𝐴(𝑥)𝑀。
• 在强相关性下，上界不再依赖于 𝑙，关键结果为 𝔼[sup|𝑋𝜃|] ≤ K𝛾₁(S,d₂)，其中 𝑆 为有界直径的集合。
• 当设计矩阵的列整体被包裹在小椭球内时，使用主要测度可获得维数无关上界。
• 证明依赖于在椭球中构造一个最大 𝑀-分离集，并应用 Hoeffding 不等式和度量熵积分。
• 最终上界仅依赖于椭球的度量熵和压缩性质，而不依赖于环境维度 𝑙。