[论文解读] Entropy and the Combinatorial Dimension

Shahar Mendelson, R. Vershynin|arXiv (Cornell University)|Mar 26, 2002

Point processes and geometric inequalities被引用 7

一句话总结

该论文通过证明一致有界函数类的 $L_2$-覆盖数由其打碎维数指数控制，解决了 Talagrand 的熵问题，将 Dudley 定理从 ${0,1}$-取值函数推广至实值函数类。关键结果是一个精确的熵界 $N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$，该结果蕴含最优的一致中心极限定理及凸几何中的最优 Elton 定理。

ABSTRACT

We solve Talagrand's entropy problem: the L_2-covering numbers of every uniformly bounded class of functions are exponential in its shattering dimension. This extends Dudley's theorem on classes of {0,1}-valued functions, for which the shattering dimension is the Vapnik-Chervonenkis dimension. In convex geometry, the solution means that the entropy of a convex body K is controlled by the maximal dimension of a cube of a fixed side contained in the coordinate projections of K. This has a number of consequences, including the optimal Elton's Theorem and estimates on the uniform central limit theorem in the real valued case.

研究动机与目标

• 通过为一致有界实值函数类建立精确的熵界，解决 Talagrand 的熵问题。
• 将 Dudley 定理——最初针对 ${0,1}$-取值函数和 VC 维数——推广至一般实值函数类，使用打碎维数作为组合复杂度度量。
• 在概率与凸几何中，建立熵、打碎维数与一致极限定理之间的紧密联系。
• 通过打碎维数推导出一致 Donsker 类与凸体熵的最优估计。

提出的方法

• 引入实值函数类的 $t$-打碎概念，将 VC 概念推广至非二值函数。
• 使用适配于组合结构的体积论证，建立覆盖数界 $N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$。
• 利用对偶性与对称化技术，将 Rademacher 和的期望 $L_2$-范数与对偶体的打碎维数联系起来。
• 应用积分熵积分准则，证明若 $\int_0^1 \sqrt{\mathrm{vc}(F,t) \log(2/t)}\,dt < \infty$，则 $F$ 为一致 Donsker 类。
• 证明反向不等式，表明界中指数的阶是最优的（至多常数因子）。
• 推导凸几何的推论：若 $B \subset [0,1]^n$，则其熵受投影立方体 $h + [0,ct]^\sigma$ 的最大维数控制。

实验结果

研究问题

• RQ1 能否仅用打碎维数来界定一致有界实值函数类的 $L_2$-覆盖数？
• RQ2 Talagrand 熵界中的指数是否最优？能否去除正则性假设？
• RQ3 打碎维数与 $\mathbb{R}^n$ 中凸体的熵之间有何关系？
• RQ4 打碎维数与经验过程中的统一 Donsker 性质之间有何联系？
• RQ5 Dudley 关于 ${0,1}$-取值函数类一致 Donsker 类的结果能否推广至实值函数类？

主要发现

• 一致有界函数类 $A$ 的覆盖数满足 $N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$，其中 $K,c>0$ 为绝对常数，无需任何正则性假设。
• 熵界中的指数是最优的：反向不等式表明存在某测度 $\mu$，使得 $N(A,t,L_2(\mu)) \geq 2^{K \cdot \mathrm{vc}(A,ct)}$。
• 若 $B \subset [0,1]^n$ 为凸体，则其熵满足 $N(B,t\sqrt{n}D_n) \leq \left(\frac{2}{t}\right)^{Kd}$，其中 $d$ 为包含某平移 $[0,ct]^\sigma$ 的坐标投影的最大维数。
• 积分条件 $\int_0^1 \sqrt{\mathrm{vc}(F,t) \log(2/t)}\,dt < \infty$ 蕴含 $F$ 为一致 Donsker 类，将 Dudley 的结果推广至实值函数。
• Banach 空间对偶体的打碎维数控制了 Rademacher 级数的期望 $L_2$-范数，从而得到下界 $\mathrm{vc}(B,t) \gtrsim \frac{\delta^2}{t^2 \log^{3.2}(2/t)} n$，其中 $\delta = \mathbb{E}\|\sum g_i x_i\|_X / n$。
• 关系式 $s \cdot t \cdot \log^{1.6}(2/t) \gtrsim \delta$ 在对数因子意义下是最优的，且存在匹配例子表明一般情形下 $st \lesssim \delta$。