[论文解读] Entropy, dimension and the Elton-Pajor Theorem

Shahar Mendelson, Roman Vershynin|arXiv (Cornell University)|Jan 7, 2002

Point processes and geometric inequalities参考文献 11被引用 5

一句话总结

本文建立了凸体在 $ℚ^n$ 和 $\ell_p^n$ 范数下的 Vapnik-Chervonenkis (VC) 维数与其熵之间的基本联系，证明熵受 VC 维数控制，最多仅存在对数因子。关键结果是一个紧致的熵界，该界意味着 Elton 定理的最优渐近行为，并将 Dudley 型熵不等式推广至实值情形。

ABSTRACT

The Vapnik-Chervonenkis dimension of a set K in R^n is the maximal dimension of the coordinate cube of a given size, which can be found in coordinate projections of K. We show that the VC dimension of a convex body governs its entropy. This has a number of consequences, including the optimal Elton's theorem and a uniform central limit theorem in the real valued case.

研究动机与目标

• 建立凸体 $K \subset [-1,1]^n$ 的 Vapnik-Chervonenkis (VC) 维数与其在 $\ell_p^n$ 和 $\ell_\infty^n$ 范数下的度量熵之间的联系。
• 利用 VC 维数提供凸体的紧致熵估计，改进了体积界以及 Talagrand 等人先前的结果。
• 通过将 Rademacher 和的期望范数与对偶体的 VC 维数联系起来，推导出 Elton 定理中的最优渐近行为。
• 通过使用肥壮破碎维数，将 Dudley 型熵不等式推广至实值函数类，从而导出一致 Donsker 类条件。
• 统一并加强高维概率与经验过程理论中关于覆盖数、类型常数和中心极限定理的结果。

提出的方法

• 将凸体 $K$ 的 VC 维数 $\mathrm{VC}(K,t)$ 定义为满足 $P_\sigma K$ 包含立方体 $x + [0,t]^\sigma$ 的坐标子集 $\sigma$ 的最大大小。
• 证明一个新的熵界：对于 $1 < p < \infty$ 和 $0 < t < 1$，有 $\log N(K, n^{1/p}B_p^n, t) \leq C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$，其中 $C,c > 0$ 为绝对常数。
• 在涉及 $t^M n$ 的维数条件下，对 $\ell_\infty^n$-范数建立更强的界：$\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$。
• 应用 Dudley 的熵积分不等式，将高斯过程的 $\ell_2$-范数期望与 VC 维数联系起来，得到 $\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$。
• 利用熵界推导出 Elton 定理中的最优常数：$s \geq c\delta^2$，$t \geq c\delta$，且 $\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$。
• 通过将 $L_2(\mu_n)$ 覆盖数与肥壮破碎维数联系起来，将结果推广至经验过程，证明 $\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$。

实验结果

研究问题

• RQ1 凸体 $K \subset [-1,1]^n$ 的熵能否以 VC 维数而非环境维数 $n$ 来界定？
• RQ2 Elton 定理中常数的最优依赖关系如何依赖于 Rademacher 范数期望的下界 $\delta$？
• RQ3 在使用肥壮破碎维数时，Dudley 的熵积分不等式在多大程度上可从布尔函数类推广至实值函数类？
• RQ4 凸体的 VC 维数如何与 $\ell_p^n$ 和 $\ell_\infty^n$ 范数下的度量熵相关联？
• RQ5 在何种肥壮破碎维数条件下，函数类构成一致 Donsker 类？

主要发现

• 在 $\ell_p^n$-范数下，$K \subset B_\infty^n$ 的熵被界为 $C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$，表明熵受 VC 维数控制，最多仅存在对数因子。
• 在 $\ell_\infty^n$-范数下，当满足维数条件时，熵满足 $\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$，优于先前的界。
• 下界 $\log N(K, B_\infty^n, t) \geq \mathrm{VC}(K, ct)$ 表明熵在对数因子范围内被 VC 维数紧密控制。
• 该熵界导致 Elton 定理中渐近行为的最优性：$s \geq c\delta^2$ 且 $t \geq c\delta$，其中 $\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$，优于 Talagrand 的结果。
• 高斯过程在对偶体上的期望范数满足 $\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$，这蕴含了最优的 Elton 定理。
• 覆盖数估计 $\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$ 将 Haussler 的结果推广至实值类，并表明若 $\int_0^1 \sqrt{\mathrm{fat}_{t/8}(F)} \log(2/t) \, dt < \infty$，则 $F$ 为一致 Donsker 类。