[論文レビュー] Uniform Approximation and Bracketing Properties of VC classes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|Jul 23, 2010

Machine Learning and Algorithms参考文献 6被引用数 10

ひとこと要約

この論文は、任意のVapnik-Chervonenkis (VC)次元が有限である集合族は、境界の測度——集合族に属する集合と分割の細胞が重なる部分——を任意に小さくできる有限可測分割によって一様近似可能であることを確立する。主な貢献はVCクラスに対する一様近似定理であり、これは有限のブレケット数、混合性の均一性、およびエルゴード的サンプリング下での一様大数の法則を意味する。

ABSTRACT

We show that the sets in a family with finite VC dimension can be uniformly approximated within a given error by a finite partition. Immediate corollaries include the fact that VC classes have finite bracketing numbers, satisfy uniform laws of averages under strong dependence, and exhibit uniform mixing. Our results are based on recent work concerning uniform laws of averages for VC classes under ergodic sampling.

研究の動機と目的

• VCクラスの集合に対して一様近似性質を確立し、有限分割の下で境界を任意に小さくできることを示す。
• 任意の確率測度の下でVCクラスが有限のブレケット数を持つことを実証し、i.i.d. から従属サンプリングへの結果の拡張を図る。
• VCクラスに対して一様大数の法則（Glivenko-Cantelli性質）をi.i.d. から定常エルゴード過程へ拡張する。
• 弱い依存性の下で逐次過程の収束の一様性を理論的に裏付ける基盤を提供する。
• 測度論的分割技法を用いて、i.i.d. の枠組みを超えたVCクラスにおける一様混合性およびブレケット性の一般化を図る。

提案手法

• 有限可測分割 $ \pi $ に対する集合 $ C \in \mathcal{C} $ の境界を、$ C $ とその補集合の両方と正の測度で交差する $ \pi $ のセルの和集合として定義する。
• 任意の $ \epsilon > 0 $ に対して、$ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $ となる有限可測分割 $ \pi $ が存在することを、有限VC次元の性質を用いて証明する。
• 分割から $ \mu(C_u \setminus C_l) < \epsilon $ を満たす被覆ブレケット $ [C_l, C_u] $ を構成し、有限のブレケット数を保証する。
• 有限ブレケット数がGlivenko-Cantelli性質に結びつくことを利用し、Blum-DeHardtの大数の法則を応用して、一様収束性をエルゴード過程へ拡張する。
• 帰納的ステップで正の測度の交差を保証するため、Lebesgue点と部分確率測度 $ \nu_k $ を用いた測度論的構成を用いる。
• ポートマンテオの定理とデイアディック区間の性質を用いて、測度の減少を制御し、帰納的構成における空でない内部交差を保証する。

実験結果

リサーチクエスチョン

• RQ1 任意のVCクラスの集合は、境界測度を任意に小さくできる有限可測分割によって一様近似可能か？
• RQ2 クラスの有限VC次元は、任意の確率測度の下で有限のブレケット数を意味するか？
• RQ3 VCクラスに対する一様大数の法則は、i.i.d. 列から定常エルゴード過程へ拡張可能か？
• RQ4 VCクラスの均一混合性は、エルゴード性のような強い依存性の下でも保たれるか？
• RQ5 VCクラスのどのような構造的性質が、境界測度を一様に小さくできる有限分割の構成を可能にするか？

主な発見

• 任意の $ \epsilon > 0 $ に対して、$ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $ となる有限可測分割 $ \pi $ が存在する。これはVCクラスに対する一様近似性を証明する。
• 任意の可算VCクラスは、任意の $ \epsilon > 0 $ に対して、任意の確率測度 $ \mu $ の下で有限のブレケット数 $ N_{[\,]}(\epsilon, \mathcal{C}, \mu) $ を持つ。
• 定常エルゴードサンプリングの下で、VCクラスに対して一様強大数の法則が成り立つ：$ \sup_{C \in \mathcal{C}} \left| \frac{1}{n} \sum_{i=1}^n I_C(X_i) - \mu(C) \right| \to 0 $ a.s. として $ n \to \infty $ のとき。
• 結果はVCメジャーおよびVCグラフクラスへも拡張可能であり、有限ブレケット数の条件から一様混合性が導かれる。
• 構成は、その結合が $ 2^l $ 個のセルを生成し、ネストされたレベル集合 $ Q_l $ と正の測度で交差するように、VCクラスからの集合の帰納的選択に依存する。
• 証明はLebesgue点、部分確率測度 $ \nu_k $、およびポートマンテオの定理といった測度論的道具を用い、境界における正の測度の交差を保証する。