[論文レビュー] Entropy, dimension and the Elton-Pajor Theorem

Shahar Mendelson, Roman Vershynin|arXiv (Cornell University)|Jan 7, 2002

Point processes and geometric inequalities参考文献 11被引用数 5

ひとこと要約

本稿は、凸体 $K \subset [-1,1]^n$ のVapnik-Chervonenkis (VC)次元と、$ℚ^n$ および $\

ABSTRACT

The Vapnik-Chervonenkis dimension of a set K in R^n is the maximal dimension of the coordinate cube of a given size, which can be found in coordinate projections of K. We show that the VC dimension of a convex body governs its entropy. This has a number of consequences, including the optimal Elton's theorem and a uniform central limit theorem in the real valued case.

研究の動機と目的

• 凸体 $K \subset [-1,1]^n$ のVapnik-Chervonenkis (VC)次元と、$\ell_p^n$ および $\ell_\infty^n$ ノルムにおけるそのメトリックエントロピーの間の関係を確立すること。
• 体積的境界やTalagrandらの先行結果よりも改善された、VC次元を用いた凸体の鋭いエントロピー推定を提供すること。
• 双対体のVC次元とラダマッハ和の期待ノルムの関係を用いて、Eltonの定理における最適漸近的性質を導出すること。
• ファットシャープニング次元を用いて、Dudley型エントロピー不等式を実数値関数クラスへ拡張し、一様Donskerクラス条件を導出すること。
• 高次元確率論および経験過程理論における被覆数、タイプ定数、中心極限定理に関する結果を統合・強化すること。

提案手法

• 凸体 $K$ のVC次元 $\mathrm{VC}(K,t)$ を、$P_\sigma K$ が $x + [0,t]^\sigma$ の立方体を含むような座標部分集合 $\sigma$ の最大サイズとして定義する。
• 新たなエントロピー境界を証明：$1 < p < \infty$ および $0 < t < 1$ に対して、絶対定数 $C,c > 0$ を用いて $\log N(K, n^{1/p}B_p^n, t) \leq C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$ が成り立つ。
• $\ell_\infty^n$ ノルムに対してより強い境界を確立：$t^M n$ に関する次元条件の下で $\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$ が成り立つ。
• Dudleyのエントロピー積分不等式を応用し、ガウス過程の $\ell_2$ ノルムの期待値をVC次元と関係づけ、$\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$ を得る。
• エントロピー境界を用いてEltonの定理における最適定数を導出：$s \geq c\delta^2$, $t \geq c\delta$ であり、$\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$ が成り立つ。
• 経験過程へ応用するため、$L_2(\mu_n)$ の被覆数をファットシャープニング次元と関係づけ、$\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$ を証明する。

実験結果

リサーチクエスチョン

• RQ1 凸体 $K \subset [-1,1]^n$ のエントロピーは、環境次元 $n$ の代わりにVC次元を用いて評価可能か？
• RQ2 期待ラダマッハノルムの下界 $\delta$ に依存するEltonの定理における定数の最適な依存関係は何か？
• RQ3 ファットシャープニング次元を用いて、ブール関数クラスから実数値関数クラスへDudleyのエントロピー積分不等式をどの程度まで拡張可能か？
• RQ4 凸体のVC次元は、$\ell_p^n$ および $\ell_\infty^n$ ノルムにおけるメトリックエントロピーとどのように関係するか？
• RQ5 ファットシャープニング次元にどのような条件下で関数クラスが一様Donskerクラスとなるか？

主な発見

• $\ell_p^n$ ノルムにおける凸体 $K \subset B_\infty^n$ のエントロピーは $C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$ で有界であり、エントロピーがVC次元に対して対数的要因を除き支配されることを示している。
• $\ell_\infty^n$ ノルムでは、次元条件の下で $\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$ が成り立ち、既存の境界を改善している。
• 下界 $\log N(K, B_\infty^n, t) \geq \mathrm{VC}(K, ct)$ により、エントロピーがVC次元に対して対数的要因を除ききびしく制御されることを示している。
• エントロピー境界により、Eltonの定理における最適漸近的性質が得られ、$s \geq c\delta^2$ および $t \geq c\delta$ であり、$\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$ が成り立つ。Talagrandの結果を改善している。
• 双対体上でのガウス過程のノルムの期待値は $\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$ を満たし、これが最適なEltonの定理を示している。
• 被覆数推定 $\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$ により、Hausslerの結果が実数値クラスへ拡張され、$\int_0^1 \sqrt{\mathrm{fat}_{t/8}(F)} \log(2/t) \, dt < \infty$ ならば $F$ が一様Donskerクラスであることが示されている。