[論文レビュー] Entropy and the Combinatorial Dimension

Shahar Mendelson, R. Vershynin|arXiv (Cornell University)|Mar 26, 2002

Point processes and geometric inequalities被引用数 7

ひとこと要約

この論文は、Talagrandのエントロピー問題を解決し、一様有界関数族の$L_2$-被覆数がそのシャッタリング次元によって指数的に制御されることを確立することで、Dudleyの定理を${0,1}$-値関数から実数値関数族へ拡張する。主な結果は鋭いエントロピー評価 $N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$ であり、これは一様中心極限定理の最適版および凸幾何学におけるEltonの定理の最適版を含意する。

ABSTRACT

We solve Talagrand's entropy problem: the L_2-covering numbers of every uniformly bounded class of functions are exponential in its shattering dimension. This extends Dudley's theorem on classes of {0,1}-valued functions, for which the shattering dimension is the Vapnik-Chervonenkis dimension. In convex geometry, the solution means that the entropy of a convex body K is controlled by the maximal dimension of a cube of a fixed side contained in the coordinate projections of K. This has a number of consequences, including the optimal Elton's Theorem and estimates on the uniform central limit theorem in the real valued case.

研究の動機と目的

• 一様有界実数値関数族のための鋭いエントロピー評価を確立することで、Talagrandのエントロピー問題を解決すること。
• 元々${0,1}$-値関数とVC次元に対して成り立つDudleyの定理を、シャッタリング次元を組合計的複雑性の尺度として用いることにより、一般の実数値関数族へ拡張すること。
• 確率論および凸幾何学における一様極限定理とエントロピー、シャッタリング次元の間にきわめて緊密な関係を確立すること。
• シャッタリング次元を用いて一様Donskerクラスおよび凸体エントロピーの最適推定を導出すること。

提案手法

• 実数値関数族に対する$t$-シャッタリングの概念を導入し、VCの概念を非二値関数へ一般化する。
• 組合計的構造に適した体積的議論を用いて、被覆数の評価 $N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$ を確立する。
• 双対性と対称化の技法を用いて、ラマーチャー和の期待$L_2$ノルムと双対体のシャッタリング次元との関係を確立する。
• 積分的エントロピー積分基準を適用し、$\int_0^1 \sqrt{\mathrm{vc}(F,t) \log(2/t)}\,dt < \infty$ を満たすクラスが一様Donskerクラスであることを証明する。
• 被覆数の指数部分が定数の意味で最適であることを示すために逆不等式を証明する。
• 凸幾何学的帰結を導出：$B \subset [0,1]^n$ である凸体のエントロピーは、$h + [0,ct]^\sigma$ の形をした平行移動を含む座標射影の最大次元によって制御される。

実験結果

リサーチクエスチョン

• RQ1 一様有界実数値関数族の$L_2$-被覆数は、そのシャッタリング次元のみを用いて評価可能か？
• RQ2 Talagrandのエントロピー評価における指数部分は最適であり、正則性仮定を除去可能か？
• RQ3 シャッタリング次元は$\mathbb{R}^n$ 内の凸体のエントロピーとどのように関係するか？
• RQ4 シャッタリング次元と経験過程における一様Donsker性の間にはどのような関係があるか？
• RQ5 ${0,1}$-値関数に対して成り立つDudleyの一様Donskerクラスに関する結果を実数値関数族へ拡張可能か？

主な発見

• 一様有界関数族$A$の被覆数は、絶対定数$K,c>0$を用いて、$N(A,t,L_2(\mu)) \leq \left(\frac{2}{t}\right)^{K \cdot \mathrm{vc}(A,ct)}$ を満たす。正則性仮定は一切不要である。
• エントロピー評価の指数部分は最適である：逆不等式により、ある測度$\mu$に対して $N(A,t,L_2(\mu)) \geq 2^{K \cdot \mathrm{vc}(A,ct)}$ が成り立つ。
• 凸体$B \subset [0,1]^n$ のエントロピーは、$N(B,t\sqrt{n}D_n) \leq \left(\frac{2}{t}\right)^{Kd}$ で抑えられる。ここで$d$は、$[0,ct]^\sigma$ の平行移動を含む座標射影の最大次元である。
• 積分条件 $\int_0^1 \sqrt{\mathrm{vc}(F,t) \log(2/t)}\,dt < \infty$ が成り立てば、$F$ は一様Donskerクラスである。これはDudleyの結果を実数値関数へ拡張する。
• バナッハ空間の双対体のシャッタリング次元は、ラマーチャー級数の期待$L_2$ノルムを制御し、下界 $\mathrm{vc}(B,t) \gtrsim \frac{\delta^2}{t^2 \log^{3.2}(2/t)} n$ を得る。ここで $\delta = \mathbb{E}\|\sum g_i x_i\|_X / n$ である。
• 関係 $s \cdot t \cdot \log^{1.6}(2/t) \gtrsim \delta$ は対数因子の意味で最適であり、一般に $st \lesssim \delta$ が成り立つ例が構成可能である。