[論文レビュー] Entropy of convex functions on $R^d$

Fuchang Gao, Jon A. Wellner|arXiv (Cornell University)|Feb 5, 2015

Point processes and geometric inequalities参考文献 15被引用数 3

ひとこと要約

本稿は、$\mathbb{R}^d$ 上の凸関数の $L^p$ ノルムにおける $\varepsilon$-エントロピーの鋭い上限と下限を確立し、$d$ 次元の多面体では、普遍的な下限 $\varepsilon^{-d/2}$ が上限としても達成されることを示している。一方、$p > \frac{dr}{d+(d-1)r}$ のとき、単位球では上限 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$ が達成される。これらの結果は、メトリックエントロピーが定義域の幾何構造に依存することを解明し、非パラメトリック推定の速度に影響を与える。

ABSTRACT

Let $Ω$ be a bounded closed convex set in ${\mathbb R}^d$ with non-empty interior, and let ${\cal C}_r(Ω)$ be the class of convex functions on $Ω$ with $L^r$-norm bounded by $1$. We obtain sharp estimates of the $ε$-entropy of ${\cal C}_r(Ω)$ under $L^p(Ω)$ metrics, $1\le p\frac{dr}{d+(d-1)r}$ is attained by the closed unit ball. While a general convex body can be approximated by inscribed polytopes, the entropy rate does not carry over to the limiting body. Our results have applications to questions concerning rates of convergence of nonparametric estimators of high-dimensional shape-constrained functions.

研究の動機と目的

• 有界な凸領域をもつ $\mathbb{R}^d$ 上の凸関数の $L^p$ ノルムにおける $\varepsilon$-エントロピーの正確な漸近的成長率を特定すること。
• $\Omega$ が内部をもつコンパクトな凸集合であり、$1 \leq p < r \leq \infty$ のとき、クラス $\mathcal{C}_r(\Omega)$ のメトリックエントロピーの鋭い上界および下界を確立すること。
• $\Omega$ の幾何的構造（たとえば多面体や単位球）が、凸関数のエントロピー率に与える影響を調査すること。
• 近似多面体とその極限となる凸体との間のエントロピー率の不一致を解消し、エントロピーが極限において保存されないことを示すこと。

提案手法

• 不連続な正方形またはキャップの構成を用いて、任意の $d$ 次元凸体 $\Omega$ に対して $\varepsilon$-エントロピーの普遍的下限 $\varepsilon^{-d/2}$ を導出すること。
• 多面体 $\Omega$ に対してこの $\varepsilon^{-d/2}$ 界が上界であることを示すために、多面体を三角形分割し、小さな不連続領域に台を持つ凸関数の族を構成すること。
• 単位球に対して、$\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$ のオーダーの一致する上界を、高さ $h$ の不連続な球面キャップに台を持つ $2^s$ 個の凸関数を構成し、$L^p$ 距離の議論を用いて確立すること。ここで $s \sim h^{-(d-1)/2}$ である。
• 正則化 incomplete ベータ関数を用いて球面キャップの面積を推定し、単位球面上に詰め込める不連続キャップの数を制御すること。
• チェーン法を用いて、互いに $L^p$ 距離が少なくとも $\delta_d h^{1/p}$ 以上である $2^{s/2}$ 個の関数の集合を構成し、$h^{-(d-1)/2}$ の指数的下限を得ること。
• 一般の凸体を内接多面体で近似する際、極限体のエントロピーが近似多面体のエントロピー率を継承しないことを示し、一般の凸体のエントロピーはハウスドルフ収束において連続でないことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 $1 \leq p < r \leq \infty$ のとき、$d$ 次元の凸体 $\Omega$ 上の凸関数の $L^p$ ノルムにおける $\varepsilon$-エントロピーの正確な漸近的レートは何か？
• RQ2 $\Omega$ が $d$ 次元の多面体であるとき、メトリックエントロピーに対する $\varepsilon^{-d/2}$ 下限が上界としても成立するか？
• RQ3 クラス $\mathcal{C}_r(\Omega)$ のエントロピー率が $\Omega$ が単位球のとき最大になり、その場合の正確なレートは何か？
• RQ4 一般の凸体のエントロピーは、その内接多面体のエントロピーで近似可能か、あるいは極限においてエントロピー率が収束しないか？

主な発見

• $\Omega$ が内部をもつ任意の $d$ 次元凸体であるとき、$\varepsilon^{-d/2}$ は凸関数の $\varepsilon$-エントロピーの普遍的下限である。
• $d$ 次元の凸多面体では、$\varepsilon^{-d/2}$ 界が上界としても成立し、これは鋭く幾何的に最適である。
• 閉単位球 $\Omega = B_d(0,1)$ に対して、$L^p$ ノルムにおける $\mathcal{C}_\infty(\Omega)$ の $\varepsilon$-エントロピーは $\exp\left(C\varepsilon^{-(d-1)p/2}\right)$ で下から抑えられ、$r = \infty$ かつ $p > \frac{d}{d+1}$ のとき、上界 $\varepsilon^{-\frac{(d-1)}{2}\cdot\frac{pr}{r-p}}$ と一致する。
• 一般の凸体のエントロピーは、その近似多面体のエントロピー率を継承しない。これは、エントロピーの挙動がハウスドルフ収束において連続でないことを示唆する。
• $\mathcal{C}_\infty([0,1]^d)$ のブレケットエントロピーは、$L^p$ ノルムにおいて $c \varepsilon^{-d/2}$ で下から抑えられる。これは $L^1$ ノルムの下限と普遍的 $\varepsilon^{-d/2}$ 下限によるものである。
• 高さ $h$ の不連続な球面キャップに台を持つ $2^s$ 個の凸関数の構成により、互いに $L^p$ 距離が少なくとも $\delta_d h^{1/p}$ 以上である関数の集合が得られ、$\delta_d h^{1/p} = \varepsilon$ のとき、$\varepsilon^{-(d-1)p/2}$ のオーダーの下限が得られる。