[论文解读] Entropy of convex functions on $R^d$

Fuchang Gao, Jon A. Wellner|arXiv (Cornell University)|Feb 5, 2015

Point processes and geometric inequalities参考文献 15被引用 3

一句话总结

本文在 $\mathbb{R}^d$ 上的 $L^p$ 范数下，为凸函数的 $\varepsilon$-熵建立了精确的界，表明对任意 $d$ 维凸体，$\varepsilon^{-d/2}$ 是普遍的下界；当 $\Omega$ 为 $d$ 维多面体时，该下界也是上界；而当 $p > \frac{dr}{d+(d-1)r}$ 时，单位球的上界 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$ 可被达到。结果揭示了度量熵对定义域几何结构的依赖性，并对非参数估计速率具有重要意义。

ABSTRACT

Let $Ω$ be a bounded closed convex set in ${\mathbb R}^d$ with non-empty interior, and let ${\cal C}_r(Ω)$ be the class of convex functions on $Ω$ with $L^r$-norm bounded by $1$. We obtain sharp estimates of the $ε$-entropy of ${\cal C}_r(Ω)$ under $L^p(Ω)$ metrics, $1\le p\frac{dr}{d+(d-1)r}$ is attained by the closed unit ball. While a general convex body can be approximated by inscribed polytopes, the entropy rate does not carry over to the limiting body. Our results have applications to questions concerning rates of convergence of nonparametric estimators of high-dimensional shape-constrained functions.

研究动机与目标

• 确定在 $\mathbb{R}^d$ 中有界凸区域上，凸函数在 $L^p$ 范数下的 $\varepsilon$-熵的精确渐近增长速率。
• 为类 $\mathcal{C}_r(\Omega)$ 的度量熵建立精确的上界与下界，其中 $\Omega$ 是具有非空内部的紧凸集，且满足 $1 \leq p < r \leq \infty$。
• 研究 $\Omega$ 的几何结构（如是否为多面体或单位球）如何影响凸函数的熵速率。
• 解决近似多面体与其极限凸体之间熵速率的差异，表明熵速率在极限下并不保持。

提出的方法

• 通过构造不相交的正方形或帽状区域，推导出任意 $d$ 维凸体 $\Omega$ 上凸函数的 $\varepsilon$-熵的普遍下界 $\varepsilon^{-d/2}$。
• 通过将多面体三角剖分并构造一组在小范围不相交区域上具有紧支集的凸函数，证明当 $\Omega$ 为 $d$ 维多面体时，该 $\varepsilon^{-d/2}$ 界也是上界。
• 通过构造 $2^s$ 个在不相交球帽上具有紧支集的凸函数，并利用 $L^p$ 距离论证，建立单位球的匹配上界 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$，其中 $s \sim h^{-(d-1)/2}$。
• 使用不完全不完全贝塔函数估计球帽的面积，控制单位球面上可打包的不相交帽的数量。
• 应用链式论证，构造一组 $2^{s/2}$ 个函数，其两两之间的 $L^p$ 距离至少为 $\delta_d h^{1/p}$，从而得到关于 $h^{-(d-1)/2}$ 的指数下界。
• 通过证明极限凸体的熵不继承近似多面体的熵速率，表明一般凸体的熵速率在 Hausdorff 收敛下不连续。

实验结果

研究问题

• RQ1 在 $1 \leq p < r \leq \infty$ 下，$d$ 维凸体 $\Omega$ 上凸函数在 $L^p$ 范数下的 $\varepsilon$-熵的精确渐近速率是什么？
• RQ2 当 $\Omega$ 为 $d$ 维多面体时，度量熵的 $\varepsilon^{-d/2}$ 下界是否也构成上界？
• RQ3 当 $\Omega$ 为单位球时，类 $\mathcal{C}_r(\Omega)$ 的熵速率是否达到最大？若是，其精确速率为何？
• RQ4 能否用内接多面体的熵来近似一般凸体的熵？熵速率在极限下是否收敛？

主要发现

• 对于任意具有非空内部的 $d$ 维凸体 $\Omega$，$\varepsilon^{-d/2}$ 是凸函数 $\varepsilon$-熵的普遍下界。
• 当 $\Omega$ 为 $d$ 维凸多面体时，$\varepsilon^{-d/2}$ 也是上界，表明该界是精确且几何最优的。
• 对于闭单位球 $\Omega = B_d(0,1)$，在 $L^p$ 范数下 $\mathcal{C}_\infty(\Omega)$ 的 $\varepsilon$-熵下界为 $\exp\left(C\varepsilon^{-(d-1)p/2}\right)$，当 $r = \infty$ 且 $p > \frac{d}{d+1}$ 时，该下界与上界 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$ 一致。
• 一般凸体的熵速率不继承其近似多面体的熵速率，表明熵行为在 Hausdorff 收敛下不连续。
• 由于 $L^1$-范数的下界和普遍的 $\varepsilon^{-d/2}$ 下界，$\mathcal{C}_\infty([0,1]^d)$ 在 $L^p$ 范数下的 bracketing 熵下界为 $c \varepsilon^{-d/2}$，其中常数 $c > 0$ 依赖于 $d$ 和 $p$。
• 在高度为 $h$ 的不相交球帽上构造 $2^s$ 个凸函数，可得到两两之间 $L^p$ 距离至少为 $\delta_d h^{1/p}$ 的函数族，当 $\delta_d h^{1/p} = \varepsilon$ 时，可导出 $\varepsilon^{-(d-1)p/2}$ 阶的下界。